Cara Setting Robot txt di Blogger



Cara Setting Robot txt di Blogger - Apa Robot txt ? Robot txt adalah sebuah protokol pengecualian robot yang berguna untuk mengecualikan suatu halaman agar tidak di index pada search engine yang berbengaruh pada SEO blog. Penemu "robot.txt" adalah Martijn Koster, saat berkerja di WebCrawler pada tahun 1994 (sumber Wikipedia)

Berikut penjelasan detailnya.

Robot txt berguna untuk mencegah web crawler untuk mengontrol halaman-halaman yang tertentu agar tidak di index oleh spider "mesin pencari" . Jadi kita bisa mengatur mana halaman yang akan di index pada spider dan yang tidak index.

Tujuan memasang robot.txt ini memberikan nilai SEO pada sebuah web/blog agar lebih SEO dimata Google terutama pada mesin pencarian.

Robot.txt tidak bisa kita pasang begitu saja pada blogger karena ketika kita salah Setting maka akan berakibat fatal pada web kita, maka berikut adalah Cara Setting Robot txt di Blogger Yang Benar dan Aman.

Cara Setting Robot txt di Blogger Yang Aman dan Benar


Pada umumnya sudah terdapat robot.txt default pada blogger, kurang lebihnya seperti berikut;

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml 


Keterangan:
User-agent: Mediapartners-Google [Mendakan bahwa blog kita menggunakan Google Adsense]
Disallow: [Yang tidak dibolehkan tidak ada]
User-agent: [Semua robot mesin pencari]
Disallow: /search [Tidak mengijinkan url setelah /search seperti .../search/label/ dan .../search/search? updated...]
Allow: / [Yang diijinkan untuk dirayapi tanda (/) adalah nama blog kalian]
Sitemap: https://blog-anda.blogspot.com/sitemap.xml [Sitemap/peta situs blog]

Di atas adalah robot.txt default blogger sudah cukup SEO, tapi jika kalian ingin meng Costum robot.txt agar lebih SEO berikut adalah settingannya.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml 

Sedikit penjelasan; robot.txt di atas memberikan perintah agar Halaman About dan Contact tidak diijinkan untuk di rayapi pada search engine. Jika perlu ditambahkan silahkan masukan pada kolom disallow.

Cara Menerapkan Robot.txt Pada Blogger/Blogspot



  • Silahkan masuk ke blogger masing-masing, masuk ke menu setelan => Preferensi Penelusuran.
  • Kemudian klik Robot.txt Khusus lalu klik Ya, kemudian masukkan kode robot.txt costum di atas ke kolom yang tersedia. Kurang lebihnya seperti ini.
  • Jika sudah klik simpan perubahan.

Jika ada halaman yang tidak ingin di rayapi web crawler bisa kalian tambahkan pada halaman disallow.

Sedikit tambahan nih agar blog lebih SEO yaitu dengan cara setting tag tanjuk robot khusus. Masuk ke setelan > Preferensi Penelusuran > Tag Tanjuk Robot Khusus. Kemudian lakukan setting seperti berikut.

  • Kemudian klik simpan perubahan.
Settingan di atas merintanhkan mesin pencarian untuk merayapi semua halaman beranda blog dan halaman arsip dan semua isi blog.

Ok mungkin cukup sampai disini pembahasan Cara Setting Robot txt di Blogger dan Setting Tag Tanjuk Robot Khusus. 

Berlangganan update artikel terbaru via email:

Tampilkan Komentar
Sembunyikan Komentar

Belum ada Komentar untuk "Cara Setting Robot txt di Blogger"

Posting Komentar

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel