Cara Mencegah URL Dicekal Robot.txt


Robot.txt adalah sebuah istilah yang di berikan Google kepada sistem di dalamnya yang berfungsi untuk mendeteksi atau menjelajah link dari sebuah situs. Salah satu tugas utamanya adalah untuk mencekal link yang dianggap tidak memenuhi persyaratan yang sudah ditetapkan oleh Google. Antara lain: mencekal ditemukannya broken link, duplikat url, atau link yang mengarahkan ke situs-situs yang dilarang.

cara mencegah url dicekal robot.txt, cara melihat error link di blog, cara memperbaiki url yang dicekal google  endolita.blogspot.com

Lalu bagaimana cara mengetahui link/ URL blog kita dicekal oleh robot.txt?
Ada baiknya jika anda membaca terlebih dahulu artikel berikut ini:
Karena jika sudah mendaftarkan blog anda ke webmaster tools mungkin cara ini bisa dilakukan:
  1. Login menggunakan akun Google.
  2. Kemudian kunjungi situs Webmaster tools Google.
  3. Pilih blog yang ingin dicek URL nya
  4. kemudian pilih Crawl >>Crawl Errors
  5. Lihat berapa banyak url yang error di blog Anda.

  6. cara mencegah url dicekal robot.txt, cara melihat error link di blog, cara memperbaiki url yang dicekal google  endolita.blogspot.com

Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang error/ dicekal atau setidaknya menguranginya:
  1. Login ke akun Blogger
  2. Pilih Setelan >> Preferensi Penelusuran >> Lihat di menu Perayap dan pengindeksan
  3. klik Edit di menu robots.txt khusus
  4. Muncul pertanyaan Aktifkan konten robots.txt khusus? centang Ya

  5. cara mencegah url dicekal robot.txt, cara melihat error link di blog, cara memperbaiki url yang dicekal google  endolita.blogspot.com

  6. lalu copy-paste script berikut disana:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.URL-BLOG-ANDA/feeds/post/default?orderby=UPDATED
Catatan: Ganti tulisan berwarna Biru dengan alamat URL blog anda
Simpan Perubahan.

Sekarang setiap URL di postingan blog anda akan aman, atau setidaknya mengurangi dari yang namanya pencekalan Robot.txt.