Hasil pencarian Google bisa berasal dari banyak blog atau website dan mungkin website yang Anda kelola. Seseorang perlu mengklik salah satu hasil pencarian untuk membaca konten selengkapnya. Lalu, bagaimana browser Google Chrome bisa menampilkan hasil pencarian dari banyak website? Ini semua karena proses perayapan (crawling) dan pengindeksan (indexing) oleh search engine crawler.
Search engine crawler disebut juga dengan web crawler, spiders, atau bots. Agar website dapat ditampilkan di hasil pencarian, maka website harus dirayapi (crawl) dan diindeks (index) lebih dulu. Cara kerjanya, search engine crawler menemukan website di internet, merayapi halaman, mengikuti tautan (link) yang ditemukan, membaca dan menganalisa konten, dan kemudian mengindeks yang telah dirayapi.
Jadi, hasil pencarian dari banyak website yang ditampilkan di web browser adalah konten yang sudah dirayapi dan diindeks. Bila halaman web tidak muncul di halaman hasil pencarian, mungkin halaman web tersebut belum terindeks karena ada masalah dalam perayapan dan pengindeksan. Masalah ini dapat berakibat pada website kehilangan pengunjung dan konversi. Ini tentunya melukai performa SEO.
Indeks dapat digambarkan sebagai database halaman web beserta informasi terkait konten di dalamnya yang dihasilkan dari proses perayapan, sedangkan pemeringkatan untuk posisi blog atau website di halaman hasil pencarian ditentukan oleh algoritma search engine. Optimasi blog atau website perlu dilakukan untuk mengoptimalkan crawlability dan indexability dan untuk peringkat di SERP dapat diupayakan salah satunya melalui konten berkualitas.
Pengertian Crawlability Dan Indexability.
Crawlability diartikan sebagai kemampuan search engine crawler untuk merayapi halaman website serta membaca dan menganalisa kontennnya. Jika website tidak memiliki masalah crawlability, maka semua halaman web dapat dirayapi dan kontenya dapat dianalisa. Sebaliknya, bila ada masalah crawlability seperti tautan rusak atau mati, maka halaman tidak dapat dirayapi dan otomatis konten tidak dapat dianalisa.
Indexability dapat diartikan sebagai kemampuan search engine crawler atau bots menganalisa dan menambahkan halaman web ke indeksnya sehingga dapat ditampilkan di halaman hasil pencarian. Jika ada halaman blog atau website tidak dapat diindeks, maka halaman tersebut tidak muncul di hasil pencarian dan berpotensi kehilangan pengunjung.
Mengoptimalkan Crawlability Dan Indexability.
Crawlability dan indexability menjadi faktor penting agar blog atau website bisa ditampilkan di halaman hasil pencarian mesin telusur. Ada beberapa hal yang dapat dilakukan untuk mengoptimalkan crawlability dan indexability.
1. Kirim peta situs (sitemap).
Peta situs (sitemap) adalah file berukuran kecil yang berisi tautan langsung (direct links) ke setiap halaman web. Peta situs juga memberikan metadata yang berharga seperti halaman website yang diperbarui. Anda dapat mengirim peta situs ke mesin telusur (search engine) seperti Google melalui Google Search Console.
Pata situs dapat membantu search engine crawler untuk merayapi halaman website jauh lebih banyak dan serentak dalam sekali kunjungan sehingga akan ada banyak halaman blog atau website yang bisa diindeks. Ini akan berbeda jika tanpa peta situs. Search engine crawler mungkin hanya akan merayapi sedikit halaman website sehingga pengindeksan tidak maksimal.
2. Perkuat internal link.
Internal link atau tautan internal adalah tautan yang menghubungkan halaman satu dengan halaman lain masih di blog atau website yang sama. Dua halaman umumnya ditautkan secara internal karena masih memiliki kesamaan topik atau tema. Dengan mengunjungi halaman lain yang masih terkait, pengunjung blog atau website dapat memperoleh informasi yang lebih lengkap.
Selain mengurangi rasio pentalan (bounce rate), internal link juga mempengaruhi crawlability dan indexability. Search engine Google mengikuti tautan internal untuk merayapi halaman lain, membaca dan menganalisa konten dan kemudian mengindeksnya. Anda dapat meningkatkan tautan internal antar halaman agar semua terhubung untuk memastikan search engine crawler menemukan semua halaman website.
3. Perbarui dan tambah konten baru secara teratur.
Content is King. Konten menjadi alasan utama pengunjung mendatangi website. Konten juga mampu meningkatkan crawlability dan indexability karena search engine crawler akan mengunjungi website yang memperbarui dan menambah konten lebih sering. Ini artinya search engine crawler akan merayapi halaman, menganalisa konten dan mengindeksnya lebih cepat.
4. Percepat waktu muat halaman web.
Search engine crawler umumnya memiliki waktu terbatas untuk merayapi dan mengindeks halaman web. Batasan waktu ini dikenal dengan crawl budget. Jika waktu habis, search engine crawler akan meninggalkan website. Anda perlu memastikan bahwa halaman web dapat dimuat cepat sehingga semakin banyak halaman web yang bisa dirayapi sebelum kehabisan waktu.
Kecepatan muat halaman (page speed) menjadi faktor penting. Ada berbagai upaya yang bisa dilakukan agar halaman blog atau website Anda dapat dimuat cepat. Pastikan Anda tidak menggunakan web hosting dibawah standar. Anda juga dapat menggunakan kompresi, memperkecil CSS, JavaScript dan HTML, menghilangkan atau mengurangi redirect dan membatasi penggunaan ekstensi bila website dibuat dengan CMS.
5. Pasang atau tambahkan breadcrumbs.
Telah dijelaskan di awal bahwa search engine crawler mengikuti tautan (link) untuk merayapi halaman blog atau website, menganalisa konten, dan menambahkan ke indeksnya. Memperbanyak tautan internal memastikan bahwa semakin banyak halaman web yang bisa dirayapi. Salah satu cara terbaik memaksimalkan tautan internal (internal links) di website adalah dengan menambahkan breadcrumbs.
Breadcrumbs memastikan website mendapatkan peluang untuk memiliki banyak tautan internal di seluruh halaman dan kategori. Breadcrumbs sangat efektif untuk website yang memiliki struktur atau hirarki yang dalam. Dengan breadcrumbs, search engine crawler dapat merayapi dengan mudah halaman web yang terletak di struktur atau hirarki yang paling dalam.
6. Hindari duplikasi konten.
Hampir semua website memiliki duplikasi konten. Duplikasi konten semakin meningkat ketika website dibuat dengan CMS karena sebagian besar dihasilkan oleh kesalahan dalam pengaturan fitur di sistem CMS itu sendiri. Duplikasi konten juga disebabkan misalnya mengubah url yang sudah diindeks secara sembarangan atau memindahkan artikel ke direktori lain tanpa melakukan redirect 301.
Duplikasi konten harus diperbaiki untuk memastikan search engine crawler merayapi url yang tepat. Anda dapat menambahkan artribut rel=canonical pada url resmi yang harus dirayapi oleh search engine crawler. Bila website dibuat dengan CMS, Anda dapat menggunakan ekstensi agar lebih cepat dan mudah mengatasi duplikasi konten.
7. Perbarui file robots.txt.
Robots.txt adalah file teks yang terletak di root directory website. Robots.txt sebenarnya tidak wajib ada, namun hampir semua website memiliki. Robots.txt memberi tahu search engine crawler bagaimana Anda menginginkan website dirayapi. Penggunaannya lebih kepada mengelola lalu lintas search engine crawler dan menjaga website tidak kelebihan beban dengan permintaan yang berdampak pada performa website.
Robots.txt memberi tahu search engine crawler apa saja yang dapat dirayapi dan diindeks di website. Pastikan Anda tidak secara sengaja memblokir search engine crawler melakukan tugasnya. Perbolehkan (allow) search engine crawler untuk merayapi dan mengindeks halaman yang memang perlu dirayapi dan diindeks dan jangan perbolehkan (disallow) merayapi halaman tertentu website yang memang tidak diperbolehkan untuk dirayapi dan diindeks.
