Cara Mencegah URL Dicekal Robot.txt

Robot.txt adalah sebuah istilah yang di berikan Google kepada sistem di dalamnya yang berfungsi untuk mendeteksi atau menjelajah link dari sebuah situs. Salah satu tugas utamanya adalah untuk mencekal link yang dianggap tidak memenuhi persyaratan yang sudah ditetapkan oleh Google. Antara lain: mencekal ditemukannya broken link, duplikat url, atau link yang mengarahkan ke situs-situs yang dilarang.


Lalu bagaimana cara mengetahui link/ URL blog kita dicekal oleh robot.txt?
Ada baiknya jika anda membaca terlebih dahulu artikel berikut ini:

• Submit Sitemap Blogger di Google Webmaster

Karena jika sudah mendaftarkan blog anda ke webmaster tools mungkin cara ini bisa dilakukan:

1. Login menggunakan akun Google.
2. Kemudian kunjungi situs Webmaster tools Google.
3. Pilih blog yang ingin dicek URL nya
4. kemudian pilih Crawl >>Crawl Errors
5. Lihat berapa banyak url yang error di blog Anda.

Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang error/ dicekal atau setidaknya menguranginya:

1. Login ke akun Blogger
2. Pilih Setelan >> Preferensi Penelusuran >> Lihat di menu Perayap dan pengindeksan
3. klik Edit di menu robots.txt khusus
4. Muncul pertanyaan Aktifkan konten robots.txt khusus? centang Ya





5. lalu copy-paste script berikut disana:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.URL-BLOG-ANDA/feeds/post/default?orderby=UPDATED

Catatan: Ganti tulisan berwarna Biru dengan alamat URL blog anda
Simpan Perubahan.

Sekarang setiap URL di postingan blog anda akan aman, atau setidaknya mengurangi dari yang namanya pencekalan Robot.txt.