Akhirnya blog ini terindex oleh Google setelah beberapa lama mengalami problem dengan robots.txt yang menghalangi Google bot merayapi halaman blog ini. Tidak seperti blog yang terdahulu yang dengan mudah di index oleh Google, file robots.txt yang di generated disini agak berbeda. Selain itu juga karena file tersebut ‘ngumpet’ bersembunyi entah dimana. Padahal sebelumnya saya tidak pernah bermain dengan robots.txt tersebut
Sebagai gambaran, file ‘robots.txt’ tersebut seharusnya berada di root directory atau ‘public_html’ Karena setelah beberapa lama mencari tidak ditemukan, saya memutuskan untuk membuat sendiri file tersebut. Awalnya tetap problem yang disebabkan oleh salah penamaan file yang seharusnya ‘robots.txt’ saya namai ‘robot.txt’ …. hanya kurang 1 huruf ‘s’ saja pengaruhnya sangat signifikan dan google bot sendiri juga tidak mau diajak korupsi.
Isi file robots.txt tersebut sebenarnya sangat singkat, jika kita ingin semua aspek yang ada dirayapi. Kecuali jika kita ingin memblok konten dari google bot, maka kita harus menambahkan tambahan. Formatnya adalah sebagai berikut “:
User-agent: *
Allow:
Jika kita ingin memblok konten atau directory hanya merubah :
User-agent: *
Disallow: /xxxxxxxx ( xxxxxxxx : adalah konten yang akan diblok, )Contohnya :
/directory/file.html
/directory/subdirectory// (jika blank : maka seluruh konten akan diblok)
Berdasarkan informasi yang berhasil saya himpun dari berbagai narasumber, bermain dengan robots.txt ini bisa bermanfaat jika kita memonetize blog, contohnya jika bermain dengan PTR. Yang kita bersama tahu mbah Google kurang suka dengan permainan PTR ini. Caranya adalah dengan mengelompokan artikel PTR pada sebuah kategori dan kemudian buat kategori tersebut tidak dirayapi.
User-agent: *
Disallow: /category/PTR —>> kategori PTR kita blok dari google bot
Atau dengan cara menambahkan meta tag dalam postingan kita. Caranya bagaimana mas ? Kan harus ngedit file php segala …. Nah, untuk pertanyaan ini, saya juga masih kurang jelas.
meta tag tersebut biasanya harus ditempatkan di antara kode :
<head> dan </head>Yang isinya adalah :
<meta name=”robots” content=”noindex,follow atau nofollow” />
follow atau nofollow disini ditujukan untuk link yang ada
Tetapi berhubung keterbatasan pengetahuan saya, untuk informasi lebih lanjut mengenai meta tag ini bisa bertanya langsung ke narasumber dengan cara ketik REG spasi Meta kirim ke 9090 … walah kok jadi daftar langganan sms … :D
Sumber sebenarnya di sini, silahkan lihat dan pelajari, kalau sudah ngerti balik sini lagi dan tinggalkan pesan bahwa anda sudah ngerti dan gantian memberitahu saya, oke …
Nah, ini nih disini .. http://www.spanishseo.org/block-and-remove-wordpress-categories silahkan bermain dengan robots.txt sampai puas ..
{ 2 trackbacks }
{ 45 comments… read them below or add one }
saya belum punya robot Mas Nugroho … gratisan euy ..
iksa´s last blog ..Madu Hutan Baduy, pembawanya jalan kaki ke Bogor
@iksa,
masih beruntung Om .. gak dipusingkan kalo robot-nya kehabisan baterei .. hehehehe
waduh gw buta ttg ginian nih.. thnx infonya sekalian buat belajar juga nih.. :D
elia bintang.´s last blog ..balas dendam batik.
Wah kalo bermain dengan robot saya sich gak pernah, tapi kalo robots.txt sama gak pernah juga, he…
Deka´s last blog ..Mengenal Domain Dan DNS
Google bisa dikadalin juga ya… :)
casrudi´s last blog ..Meminimalisir Error XHTML pada Blog
ternta file robot.txt banyak fungsinnya ya.. ta kirain cuma sekedar membolehkan search engine index
My Link is Educated´s last blog ..6 mac’s apps to tweak your Mac better
kok tidak ada yang nyantel di pikiranku ya? hehehe…
aku kurang tau dengan yang beginian, maaf kalo tidak bisa begitu nanggepin.
salam sukses aja buat empunya blog.
Iklan Baris
@elia bintang,
sama, awalnya sy juga gak ngerti … bisa karna terpaksa
@Deka,
kalo anak-2 sih masih suka main robot-2an ..hehehe ..
@Casrudi
hehehe, bukan dikadalin tapi diboongin …
@My Link is Educated
kalo bisa memperbolehkan juga bisa melarang dong …
@Pasang Iklan Gratis
oke .. no problem, terima kasih kunjungannya …
SAYA MASIH BINGUNG TENTANG KONERJA ROBOT INI maklum masih belum nyampai ilmunya btw salam blogger
cyzko´s last blog ..KONTES DESIGN BANNER HADIAHNYA JUTAAN RUPIAH
dikit- dikit nyangkut nih mas.. tapi trus bubar lagi.. :D maklum mas gaptek.. boro- boro robot texts, ngeblog saja pake hape..
salam hangat selalu!
sip…. tapi default-nya wordpress sudah buat kayaknya
Abid Famasya´s last blog ..Ayo beraksi di Blog Action Day!
@cyzko,
sama dong, sy juga bingung
@mas tyas,
kalo bisa menggunakan teknologi bukan gaptek dong mas …
@Abid Famasya,
yup, wordpress saat instalasi awal akan men-generated file ini, apalagi wordpress.com kita tdk usah mikirin ini
tapi kita bisa bikin jadi tidak default untuk kepentingan tertentu, dan sayangnya wordpress.com kita tidak punya akses ke c-panel
@hpnugroho, @All selamat malam aja, Bayavusqu menanyakan kepada semua lekas sembuh ya bro!
@Batavusqu, eh salah batavusqu, maap belum bisa beli robot juga kayak pak Iksa nunggu orderan nikah nih
wah.. aku gak paham blas soal gini..
perlu banyak belajar nih..
@kucrit,
yuk belajar bareng …
@kucrit, Belajarlah sampai ke negeri China (titah rosulqu) jangan di negeri sendiri saja. Jangan puas dengan ilmumu, walau semua sudah kau raih
trims banyak untuk infonya mas…
IwanKus´s last blog ..Mencari Ide Untuk Menulis Artikel
@IwanKus,
sip .. saling berbagi aja .. :D
@IwanKus, jangan lupa balik lagi, pada hidangan yang lain
Salam Takzim
Google di Kadalin (Cas Rudi)
Buka dikadalin kang ini mah buayyyyyyaa, lho google kan mesin pencari, yang ini pencari mesin kang kkkkkaaaaabbbooooeeeerrrr
Eh ketingalan
Slam Takzim Batavusqu
@Batavusqu,
hehehhe …
buaya kok di kadalin ……. kekekekek
wah mesti pelan2 nih mempelajarinya…
langsung dipraktekan sedikit2..
mudah2an bisa..
terima kasih ya..
@Abula,
kalo problem balikin ke awal lagi, enak tho …manteb tho …
terima kasih pencerahannya, tp saya belum berani main-main dengan yang ini..
**sebenarnya sih karena nggak bisa, hehe
wira´s last blog ..Definisi Hiatus Pada Blog
@wira,
sy juga bisa karna tepaksa .. :D
thanks atas penerahannya Mas, ngomong-ngomong ini hanya untuk WP atawa blogspot juga bisa pake???
rudy azhar´s last blog ..Thesis theme for blogger? Why Not.
@rudy azhar,
file ini adanya di public_html , jadi sepanjang bisa mengakses kedalam directory tersebut pasti bisa. Pertanyaannya apakah blogspot dan wordpress.com bisa ?
karna saya gak pake ke-2 nya, maaf jawabannya ngantung di sini …
mari kita cari bersama …
@hpnugroho, jadi Mas pake blog apa? yang saya lihat blog ini menggunakan wordpress???
rudy azhar´s last blog ..Thesis theme for blogger? Why Not.
@rudy azhar,
oo..maksudnya blog yg hosting di wordpress.com (yg free), klo ini kan selfhosting …
maaf kurang jelas deskripsinya di atas ..
kemungkinan untuk blogspot dan free wordpress tidak bisa setting file ini …
sore sahabat…….
kunjungan perdana
wih mantab postnya sahabat
@dobleh yang malang,
thanks kunjungannya …
apakah robots.txt sama dengan file .htaccess untuk permalink.
MasWienNews.com´s last blog ..Makanan Yang Cocok Bagi Pebisnis
@MasWienNews.com,
sepengetahuan saya sih beda mas, robots.txt ditujukan untuk akses ke directory yg ada, tidak ada pengaruh dengan permalink ..
nanti akan saya pelajari lagi deh mengenai htaccess ini, masih kurang mudeng sih …
salam sobat
selamat ya sobat,,akhirnya blog ini terindex oleh google.
trims infonya,mengenai file robotsnya.
NURA´s last blog ..PERBEKALAN SAAT HAJI DI ALJUBAIL.S.A
@NURA,
terima kasih kembali ..
Salam kenal mas..
Wah asik nih mainannya robot, walaupun robot.txt sih. Seru mas. Hehehe..
Saya sendiri kurang ngerti kl urusan Robot.txt yang bgus buat blog…
@Fiqih the Fachia,
sama mas, sy sendiri juga ngertinya cuma segini ,,
Masalah itu tak pernah saya perhatikan.Namun untuk WP yang Free ,sama seperti hal diatas kah..?
@Dangstars,
sepertinya tidak bisa kang, soalnya kita kan gak bisa masuk public_html nya ..
kalo gak salah sih gitu …
Untunglah blog jelek saya udah bisa di index oleh eyang google. btw info ini sangat menarik, jadi yang belum menyadari blog nya tidak bisa di index oleh google bisa baca artikel ini.
apa robots.txt ini ya yg bikin “prosesi” klaim blog-ku di technorati gagal mulu??
Musti di ubek-ubek lagi nih…
Thanks mas Nugroho buat Nice info-nya…
sasuke_stereobk´s terakhir menulis di blog ..SmadAV Revisi 8 (With Key for Pro)
saya coba tips yang sampeyan berikan, ternyata berdampak positif terhadap blog saya.
Trimakasih atas informasinya
Info Pertanian´s terakhir menulis di blog ..BUku Panduan Pelaksanaan Sekolah Lapang Pengelolaan Tanaman Terpadu (SL-PTT)
masih nggag mudeng mas… robot oh robot…
Sumenep´s terakhir menulis di blog ..SUMENEP