Robots.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol robots.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.
Robots.txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter. Dengan mengganti aturan bawaan dasar pengaturan robots.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti robots.txt bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak boleh.
Cara Setting Robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman About saya) Anda cukup menulis seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Settingan robot.txt berikut ini adalah untuk mencegah duplikat konten atau judul di blog :
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED
Robots.txt merupakan sebuah file berformat text (.txt) yang harus dimiliki setiap website atau situs di internet, yang didaftarkan pada mesin pencari google, yahoo dan bing. dengan begitu robots.txt sangat erat kaitannya dengan SEO, robots.txt berfungsi untuk mengontrol atau mengatur halaman atau direktori mana yang boleh ditampilkan/diindex oleh mesin pencari .
Jika situs anda berdomain .com dan domain anda didaftarkan pada mesin pemcari google.com atau mesin pencari lainnya. maka secara otomatis anda memperbolehkan atau meminta robot-robot yang dimiliki oleh mesih pencari tersebut untuk mengunjungi dan merayapi situs yang anda miliki. nah saat pertama kali robot-robot pencari tersebut merayapi situs anda maka yang pertama mereka cari adalah file robots.txt. File robots.txt tersebut berisi perintah-perintah mengenai halaman mana saja yang diperbolehkan diperbolehkan untuk di index atau ditampilkan pada situs mesin pencari.
Cara Setting Tag Header Robot Khusus
Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Sesuaikan seperti gambar dibawah ini
Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.
Mengkonfigurasi setelan robot txt khusus di blogspot, haruslah dilakukan dengan benar. Agar mesin pencari dapat mengetahui dan membedakan halaman mana yang boleh dirayapi dan yang tidak boleh dirayapi. Kesalahan dalam mengatur robot txt di blogspot, akan mengakibatkan artikel blog akan diabaikan atau malah hilang di mesin pencari google.
Ketika pertama kali kita membuat blog, secara otomatis robot txt khusus sebenarnya telah aktif pada settingan default. Perlu kita ketahui bahwa settingan default merupakan pengaturan yang paling aman untuk blog, karena merupakan settingan langsung dari blogger yang diberdaya oleh google
0 Komentar