Seocips.com-Cara setting robot.txt Blogger SEO friendly. Dengan setting Robot.txt dan  Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO. Bagaimana membuat Blog anda lebih SEO Friendly? Seocips sudah pernah menulis artikelnya di tips seo blog untuk pemula.

Perlu anda ketahui Robots.txt secara sederhana adalah sebuah konvensi untuk memerintah web crawler / robot mesin pencari untuk menelusuri atau mencegah semua halaman atau hanya beberapa halaman dari sebuah blog/ website. Misalnya ada halaman yang tidak ingin di index dan tampilkan kepada publik pada mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut.

Cara Setting Robot.txt Blogger Yang SEO frendly

Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.

Setting Robot.txt Blogger

Semua blog di blogspot sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Apa arti dari semua kode di atas? berikut adalah penjelasannya:
  • User-agent: Mediapartners-Google (  user agent milik google menandakan bahwa blog ini adalah partner dari google )
  • Disallow: ( Yang tidak diperbolehkan tidak ada )
  • User-agent: * ( Semua robot Search Engine / mesin pencari )
  • Disallow: /search ( Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated... )
  • Allow: / ( Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda [ / ]kurang lebih artinya nama blog )
  • Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED ( sitemap atau alamat feed blog )
Jika anda ingin memodifikasinya robot txt contohnya adalah sepeti Cara Setting Robot.txt petama dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Arti konfigurasi di atas adalah semua artikel dan halaman di blog anda akan di index robot webcraw karena pada kode Disallow semuanya di kosongkan. Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus /search pada kode Disallow: /search ( Disallow: /search : seperti ..../search/label dan ... search/search?updated...) untuk membolehkan robot crawler mengindex semua halaman, kita bisa meng editnya lagi menggunakan settingan robot text kedua dengan konfigurasi seperti berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Kembali ke settingan default atau bawaan robot txt blogspot. Jika anda ingin memblokir halaman tertentu anda tinggal menambahakan url halaman yang ingin anda blokir di belakang Disallow. Contohnya untuk memblok robot di halaman misalnya halaman About, maka contoh penulisan robot.txt adalah seperti seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Nah berikut ini adalah Settingan robot.txt untuk mencegah duplikat konten atau judul di blog, khususnya duplikat konten yang terjadi karena website/blog diakses dari mobile phone mungkin anda dapat mencobah settingan robot txt ketiga dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED
RECOMENDED :

UPDATE!

Untuk Settingan Robot.txt yang ketiga silahkan digunakan untuk mengatasi duplikat halaman dan jangan digunakan bagi yang menginginkan situsnya mobile friendly karena jika kamu medisallow m=0 dan m=1 blogmu tidak lagi mobile friendly, hilangnya deskripsi potingan di pencaharian mobile, dan tentusaja akan berpengaruh pada peringkat blog anda di pencaharian Google. Karena sekarang sudah zamannya Mobilegeddon sebaiknya kamu lewati saja penggunaan robot txt yang ketiga.

Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur dibawah ini dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.

Settingan Tag Header Robot Khusus


Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Sesuaikan seperti gambar dibawah ini

Settingan Tag Header Robot

Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

70 Komentar untuk "Cara Setting Robot.txt Blogger SEO friendly"

Iya gan, semoga cara setting robot.txt ini bermanfaat untuk anda. :))

wah lengkap nih. blog ini make yang pertama yah kayaknya.

Yang saya gunakan saat ini adalah standar bawaanya blogger, tidak tahu untuk kedepannya apakah diganti atau tidak (c)

makasih kawan sudah sangat membantu saya tentang setting robot txt...

masi belum ngerti ni gan cara mengedit robot txt. bisa tolong jelaskan kpada sya sebaiknya apa saja yang harus di block dan tidak.? terimakasih gan

http://gamebagus-3.blogspot.com/

Satu lagi ilmu baru, makasih bang

Informasi yang bagus buat newbie,, seperti saya semoga sukses selalu gan

makasih gan. saya dah praktekan. semoga berhasil ya.

mantap, langsung praktek.. makasih tutorialnya

terimkasih bro sangat bermanfaat dan jelas pembahasanya

gan kalau misalnya kita mengganti robot txt untuk blog yang sudah terindex
apakah agan berpengaruh terhadap artikel yang sudah di index tersebut?? :-?

makasih atas tutornya gan...udh saya terapkan diblog saya...mudah2an berhasil

Trims ya Bro,
Artikelmu bermanfaat sekali, Salam
FOlbek ya ..

Terimakasih, langsung dipraktikkan (o)

terus untuk site map nya apa perlu di ganti juga jika menggunakan xml.atom

Butuh berapa lama Google mengindeks robot ya kita buat gan?

gan, kalo semua settingan robots yg diatas di jadikan satu gimana nulisnya ?

Settingan Tag Header Robot Khusus <<< Bisa nda jelaskan satu2 tentng gambar diatas..Tag tajuk robot khusus dari beranda sampai halaman khusus yang dicentang apa pengaruhnya..
seperti blog ini >> http://terhebohlagi.blogspot.com << saya ingin minta tanggapan mas tentang blog ane ... apa yang harus diubah dari blog itu mas agar tampak seo. thx ditunggu tanggapanya

Terimakasih atas informasi yang sangat menarik ini seocips

hallo gan semua cara di copas ke txt blog kita ato pilih salah satu saja mohon pengarahan gan maklum masih awam

jadi berkurang visitor blog saya.. :(

Terus , yang dipakai yang mana mas ?

wah mantap, thanks gan :D
keren ini blog

This comment has been removed by a blog administrator.

sangat membantu, maksih tutornya gan...

Sama-sama gan, terima kasih kembali

Wow selamat mencoba gan, tapi tetap hati-hati yah dalam setting robot txt blog karena settingan yang salah dapat mengakibatkan blog/web anda di abaikan oleh mesin telusur seperti di peringatan sebelum men setting robot txt dan tag header di Blogger.

wah syukurlah jika sobat merasa terbantu.

alamat urlanda.blogspot.com itu permanen atau harus di ganti dengan Url blog kita mas

iya sob, ingat hati-hati menggunakannya atau tidak usah menggunakan / non aktifkan saja settingan robot txt.

Tergantung, Settingan seperti yang pertama adalah membiarkan robot menelusuri semua url/ konten yang ada diblog anda, jika sobat ingin halaman tertentu tidak ingin di crawl oleh robot google tinggal tambahin disallow diikuti URL/alamat postingan yang tidak ingin di index. Settingan yang ketiga di artikel di atas adalah untuk mencegah duplikat konten ( ini terjadi ketika blog sobat sering di akses melalui mobile phone sehingga muncul duplikat, bisa di cek diwebmaster tools). Pada settingan tag header robot kusus sebaiknya yang "no image index" jangan dicentang, karena google juga menelusuri gambar apa yang terpasang di artikel sobat, jadi sebaiknya disetiap gambar jangan lupa dipasangi title dan alt gambar.

bang, bbrapa hari lalu saya baca sebuah artikel yg ditulis oleh ams sugeng, bahwa 2015 seting robot.txt tidak terlalu penting, dan disarankan untuk menseting ke pengaturan robot.txt default, sy coba ikuti saran itu, namun stlah sy cek di webmaster muncul 244 crawl error pada versi seluler.. bagaimana cara mengatasinya ? apakah harus sya hapus atau ditandai sebagi telah diperbaiki ??

Penjelesannya lumayan lengkap dan sangat membantu. Saya akan gunakan setting ketiga untuk blog saya....

kalau kode robot untuk memblokir Label gimana ya ;-)

Pakai saja settingan robot txt default bawaan blogspot .

Terima kasih banyak tutorialnya gan. Saya coba dulu. Kalau ada waktu mampir ke blogku gan :D

Trims gan, manfaat banget buat newbie macam ane.
Salam kenal... :)

Mantap gan..trims ilmunya. Sukses selalu gan

Terima Kasih mas, setidaknya nih saya mengerti tentang setting robot sedikit demi sedikit.

Ilmu ini keren banget buat saya ;-)

maknyus banget, terima kasih banyak bos seo

Mas saya menggunakan robots.txt yang untuk mencegah duplikat konten, Tapi settingan robots.txt khusus tidak seperti di atas. Nah, yang jadi masalah adalah url di blok pada ponsel cerdas. Lalu cara mengatasinya gimana mas ?

Url yang di blokir itu :
p/contact/?=m1
dan url postingan dengan postingan yang akhirannya terdapat m=1 dan m=0

Saya sudah cari di google tapi tidak nemu"

ie tuh ane abis pasang domain ane aktifin malah ilang dari page 1 hahaha
akhirnya nonaktifkan kembali dek visitor merosot tajam dari 8k visitor / day jadi kurang dari 1k, nyesek

nan aktifkan saja settingan robot txt nya sob, pakai saja yang default bawaan blogspot.

Terima kasih gan,artikel ini sangat ber manfaat.....

gan kalo pakai yang default dari google itu tidak masalah kan ?

informasi yang bagus untuk mengoptimalkan blog
thanks infonya bos

Thanks gan infonya sangat bermanfaat :)

harus hati-hati jika mengenai robot txt, jangan salah..

mas untuk setingan robot.txtyang paling bagus yang nomer berapa

Langsung praktek kang, thanks

thanks gan atas infonya, kunjungin balik dong gan, jangan lupa like fbnya hehe

website dengan domain .com sama .co.id kok ada masalah ya di robots.txt nya? kalo cek site:urlkita.blogspot.co.id gak keindex kalo site:urlkita.blogspot.com keindex, kalo menggunakan .co.id ada pesan deskripsi tidak ditampilkan karena robots.txt itu gmna solusinya mas? soalnya kalo dibuka pake ip indo pasti .co.id pusing mas :(
makasi banyak mas

keren mas tyipsnya..tapi iku kan udah th 2013..apakah bisa digunakan untuk update saat ini?

Kalau boleh tahu agan sendiri pakai settingan robot yang mana?