Sebelum kita bahas lebih jauh, mari kita pahami dulu apa itu Crawling. Crawling merupakan suatu proses dimana search engine akan mengirimkan bot yang akan menjelajahi konten yang ada di internet, termasuk yang ada di situs yang kalian bangun.

Bot yang ada pada Google biasa dinamakan sebagai Google Bot ataupun Spiders. Nah tugas Spiders ini untuk mengecek setiap konten yang kalian buat di situs yang kalian bangun. Nantinya Spiders akan mengindeks setiap konten yang kalian buat. Namun perlu kalian ketahui, Spiders juga akan membaca setiap konten yang kalian buat dengan cara mengambil konten orang lain tanpa merubahnya terlebih dahulu.

Untuk membantu Spiders menganalisa setiap konten yang ada, kalian juga perlu melakukan beberapa hal untuk mempercepat proses Crawling, apa saja itu ?

Pertama adalah menggunakan Robots.txt. Biasanya file ini terletak di root directory. Robots.txt biasanya berguna untuk memberikan informasi bagian mana dari situs anda yang perlu dijelajahi oleh Google Bot. Jika bot yang sedang menjelajah tidak menemukan Robots.txt, maka bot tersebut akan melakukan penjelajahan secara menyeluruh pada situs yang kalian miliki.

Kedua adalah Meta directives. Untuk yang satu ini ada dua macam meta yang bisa digunakan, yang pertama adalah meta robots tag dan ang kedua adalah x robots tag. Untuk mengatur kedua hal ini, kalian bisa menemukannya di pengaturan dashborad – > settings – > readings.

Berikutnya adalah Sitemaps. Apa itu sitemap ? Sitemap adalah sebuah daftar URL yang ada didalam situs yang kalian bangun yang berguna untuk menemukan setiap konten dan mengindeksnya melalui crawler.