Robots.txt adalah sebuah file yang berisi kumpulan instruksi-instruksi dalam menjalankan bot mesin pencarian atau mudahnya menunjukan jalan kepada mesin pencarian agar blog yang dimiliki bisa terindeks di mesin pencarian. Jadi, robots.txt ini memberikan kamu yang terbisa pada blog agar robots.txt menunjukan jalannya agar tersampaikan ke mesin pencarian.
Ketika membangun blog baru dan dihubungkan dengan Google Webmaster Tool, dari sini Google akan melakukan proses crawling atau perayapan yang bertujuan blog baru tsb bisa muncul di hasil pencarianan.Selain itu, ada juga juga proses pendataan yang dilakukan oleh Google dengan kata kunci yang ada blog tsb dsb.
Robots.txt juga bisa melakukan pemisahan halaman yang tidak ingin Kamu tampilkan ke dalam mesin pencarian. Contohnya, jika blog Kamu memiliki halaman member yang dimana informasi pada halaman tsb merupakan privasi dan hanya member saja yang diperbolehkan mengaksesnya, maka Kamu bisa melakukan filter pada halaman member ini agar tidak di crawl atau tidak dirayapi demi menjaga privasi halaman tsb. Jadi, walaupun Kamu tidak menggunakan robots.txt Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di blog.
Selain kegunaan dari robots.txt yang bisa membantu menghalangi mesin pencarian untuk tidak melakukan crawl situs, robots txt juga bisa mengurangi beban yang harus diterima oleh halaman blog tsb. Dalam kondisi tertentu, error seperti ini akan menjadi masalah langsung ketika Kamu memblokir crawling di file robots.txt Kamu. Jadi untuk mengatasi pesan error seperti ini, Kamu perlu melakukan proses pemecahan masalah seperti berikut untuk memperbaikinya.
Kamu bisa menambahkan tag meta robot noindex dan pastikan untuk mengizinkan perayapan. Jika Kamu memblokir halaman agar tidak ingin dirayapi, Google mungkin masih bisa mengindeksnya karena perayapan dan pengindeksan adalah dua hal yang berbeda. Jika Google bisa melakukan crawl atau perayapan pada suatu halaman blog, maka Google tidak bisa meninjau dari tag meta noindex dan masih memiliki potensi untuk mengindeks halaman blog tsb karena masih memiliki link-link blog.
Jika URL di kanokalisasi atau di optimasi dari banyaknya URL yang dimiliki untuk menunjuk ke halaman blog tertentu, maka tidak menambahkan tag meta robot noindex adalah solusi yang tepat untuk Kamu lakukan.
Kamu perlu mencari tahu mengapa Google tidak bisa merayapi URL dan memeriksa apa yang menghalangi atau memblokirnya kemudian Kamu perlu untuk menghapusnya. Penyebab yang memungkinkan hal tsb terjadi adalah karena adanya pemblokiran perayapan di robots.txt. Namun ada beberapa skenario lain di mana Kamu mungkin melihat pesan yang mengatakan bahwa Kamu diblokir.
Cara memperbaiki URL yang di cekal oleh Robots.txt.
Berikut solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.
1. Pergi ke Setelan > Preferensi dan penelusuran
2. Pada kolom Perayap dan pengindeksan,
3. Klik Edit di bagian kanan robots.txt khusus.
4. Masukan kode dibawah ini
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
1. Pergi ke Setelan > Preferensi dan penelusuran
2. Pada kolom Perayap dan pengindeksan,
3. Klik Edit di bagian kanan robots.txt khusus.
4. Masukan kode dibawah ini
User-agent: Mediapartners-Google"ganti warna merah dengan URL blog anda"
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: https://www.kompapa.com/feeds/posts/default?orderby=updated
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs kamu.
Jika Kamu memblokir laman agar tidak dirayapi, Google masih bisa mengindeksnya karena perayapan dan pengindeksan adalah dua hal yang berbeda. Kecuali Google bisa merayapi laman, mereka tidak akan melihat tag meta noindex dan mungkin masih mengindeksnya karena memiliki tautan.
Jika URL dikanonikan ke postingan lain, jangan tambahkan tag robot meta noindex. Pastikan saja sinyal kanonikalisasi yang tepat tersedia, termasuk tag kanonis pada halaman kanonis, dan izinkan perayapan agar sinyal lulus dan terkonsolidasi dengan benar.
Kamu perlu mencari tahu mengapa Google tidak bisa merayapi URL dan menghapus pemblokiran. Penyebab yang paling mungkin adalah blok perayapan di robots.txt . Tetapi ada beberapa skenario lain di mana Kamu mungkin melihat pesan yang menyatakan bahwa Kamu diblokir. Jika Kamu tahu apa yang Kamu cari atau tidak memiliki akses ke GSC, Kamu bisa membuka domain.com/robots.txt untuk menemukan file tersebut. Kamu ingin menghapus pernyataan disallow yang menyebabkan pemblokiran. Cara Kamu melakukannya berbeda-beda tergantung pada teknologi yang Kamu gunakan.
Sekian mengenai bagaimana cara mengatasi url yang di cekal robot.txt dan semoga bermanfaat.
1 Komentar
Di blog say url dicekalnya ada 218. ;-( , muda- mudahan dengan menggunakan tips di atas url yang dicekal di blog saya berkurang.