Akhirnya blog ini terindex oleh Google setelah beberapa lama mengalami problem dengan robots.txt yang menghalangi Google bot merayapi halaman blog ini. Tidak seperti blog yang terdahulu yang dengan mudah di index oleh Google, file robots.txt yang di generated disini agak berbeda. Selain itu juga karena file tersebut ‘ngumpet’ bersembunyi entah dimana. Padahal sebelumnya saya tidak pernah bermain dengan robots.txt tersebut
Sebagai gambaran, file ‘robots.txt’ tersebut seharusnya berada di root directory atau ‘public_html’ Karena setelah beberapa lama mencari tidak ditemukan, saya memutuskan untuk membuat sendiri file tersebut. Awalnya tetap problem yang disebabkan oleh salah penamaan file yang seharusnya ‘robots.txt’ saya namai ‘robot.txt’ …. hanya kurang 1 huruf ‘s’ saja pengaruhnya sangat signifikan dan google bot sendiri juga tidak mau diajak korupsi.
Isi file robots.txt tersebut sebenarnya sangat singkat, jika kita ingin semua aspek yang ada dirayapi. Kecuali jika kita ingin memblok konten dari google bot, maka kita harus menambahkan tambahan. Formatnya adalah sebagai berikut “:
User-agent: *
Allow:
Jika kita ingin memblok konten atau directory hanya merubah :
User-agent: *
Disallow: /xxxxxxxx ( xxxxxxxx : adalah konten yang akan diblok, )Contohnya :
/directory/file.html
/directory/subdirectory// (jika blank : maka seluruh konten akan diblok)
Berdasarkan informasi yang berhasil saya himpun dari berbagai narasumber, bermain dengan robots.txt ini bisa bermanfaat jika kita memonetize blog, contohnya jika bermain dengan PTR. Yang kita bersama tahu mbah Google kurang suka dengan permainan PTR ini. Caranya adalah dengan mengelompokan artikel PTR pada sebuah kategori dan kemudian buat kategori tersebut tidak dirayapi.
User-agent: *
Disallow: /category/PTR —>> kategori PTR kita blok dari google bot
Atau dengan cara menambahkan meta tag dalam postingan kita. Caranya bagaimana mas ? Kan harus ngedit file php segala …. Nah, untuk pertanyaan ini, saya juga masih kurang jelas.
meta tag tersebut biasanya harus ditempatkan di antara kode :
<head> dan </head>Yang isinya adalah :
<meta name=”robots” content=”noindex,follow atau nofollow” />
follow atau nofollow disini ditujukan untuk link yang ada
Tetapi berhubung keterbatasan pengetahuan saya, untuk informasi lebih lanjut mengenai meta tag ini bisa bertanya langsung ke narasumber dengan cara ketik REG spasi Meta kirim ke 9090 … walah kok jadi daftar langganan sms … :D
Sumber sebenarnya di sini, silahkan lihat dan pelajari, kalau sudah ngerti balik sini lagi dan tinggalkan pesan bahwa anda sudah ngerti dan gantian memberitahu saya, oke …
Nah, ini nih disini .. http://www.spanishseo.org/block-and-remove-wordpress-categories silahkan bermain dengan robots.txt sampai puas ..
{ 2 trackbacks }
{ 42 comments… read them below or add one }
← Previous Comments
Salam kenal mas..
Wah asik nih mainannya robot, walaupun robot.txt sih. Seru mas. Hehehe..
Saya sendiri kurang ngerti kl urusan Robot.txt yang bgus buat blog…
@Fiqih the Fachia,
sama mas, sy sendiri juga ngertinya cuma segini ,,
Masalah itu tak pernah saya perhatikan.Namun untuk WP yang Free ,sama seperti hal diatas kah..?
@Dangstars,
sepertinya tidak bisa kang, soalnya kita kan gak bisa masuk public_html nya ..
kalo gak salah sih gitu …
Untunglah blog jelek saya udah bisa di index oleh eyang google. btw info ini sangat menarik, jadi yang belum menyadari blog nya tidak bisa di index oleh google bisa baca artikel ini.
apa robots.txt ini ya yg bikin “prosesi” klaim blog-ku di technorati gagal mulu??
Musti di ubek-ubek lagi nih…
Thanks mas Nugroho buat Nice info-nya…
sasuke_stereobk´s terakhir menulis di blog ..SmadAV Revisi 8 (With Key for Pro)
← Previous Comments