Bermain dengan robots.txt

by hpnugroho on October 9, 2009

Akhirnya blog ini terindex oleh Google setelah beberapa lama mengalami problem dengan robots.txt yang menghalangi Google bot merayapi halaman blog ini. Tidak seperti blog yang terdahulu yang dengan mudah di index oleh Google, file robots.txt yang di generated disini agak berbeda. Selain itu juga karena file tersebut ‘ngumpet’ bersembunyi entah dimana. Padahal sebelumnya saya tidak pernah bermain dengan robots.txt tersebut

Sebagai gambaran, file ‘robots.txt’ tersebut seharusnya berada di root directory atau ‘public_html’ Karena setelah beberapa lama mencari tidak ditemukan, saya memutuskan untuk membuat sendiri file tersebut. Awalnya tetap problem yang disebabkan oleh salah penamaan file yang seharusnya ‘robots.txt’ saya namai ‘robot.txt’ …. hanya kurang 1 huruf ‘s’ saja pengaruhnya sangat signifikan dan google bot sendiri juga tidak mau diajak korupsi.

Isi file robots.txt tersebut sebenarnya sangat singkat, jika kita ingin semua aspek yang ada dirayapi. Kecuali jika kita ingin memblok konten dari google bot, maka kita harus menambahkan tambahan. Formatnya adalah sebagai berikut “:

User-agent: *
Allow:

Jika kita ingin memblok konten atau directory hanya merubah :

User-agent: *
Disallow:
/xxxxxxxx ( xxxxxxxx : adalah konten yang akan diblok, )

Contohnya :
/directory/file.html
/directory/subdirectory/

/ (jika blank : maka seluruh konten akan diblok)

Berdasarkan informasi yang berhasil saya himpun dari berbagai narasumber, bermain dengan robots.txt ini bisa bermanfaat jika kita memonetize blog, contohnya jika bermain dengan PTR. Yang kita bersama tahu mbah Google kurang suka dengan permainan PTR ini. Caranya adalah dengan mengelompokan artikel PTR pada sebuah kategori dan kemudian buat kategori tersebut tidak dirayapi.

User-agent: *
Disallow: /category/PTR
—>> kategori PTR kita blok dari google bot

Atau dengan cara menambahkan meta tag dalam postingan kita. Caranya bagaimana mas ? Kan harus ngedit file php segala …. Nah, untuk pertanyaan ini, saya juga masih kurang jelas.

meta tag tersebut biasanya harus ditempatkan di antara kode :
<head> dan </head>

Yang isinya adalah :

<meta name=”robots” content=”noindex,follow atau nofollow” />

follow atau nofollow disini ditujukan untuk link yang ada

Tetapi berhubung keterbatasan pengetahuan saya, untuk informasi lebih lanjut mengenai meta tag ini bisa bertanya langsung ke narasumber dengan cara ketik REG spasi Meta kirim ke 9090 … walah kok jadi daftar langganan sms … :D

Sumber sebenarnya di sini, silahkan lihat dan pelajari, kalau sudah ngerti balik sini lagi dan tinggalkan pesan bahwa anda sudah ngerti dan gantian memberitahu saya, oke …

Nah, ini nih disini .. http://www.spanishseo.org/block-and-remove-wordpress-categories silahkan bermain dengan robots.txt sampai puas ..

{ 2 trackbacks }

Remove broken Link dengan Broken Link Remover | hpNugroho[dot]com
December 25, 2009 at 19:06
Review Triwulan perjalanan hpNugroho.com | hpNugroho[dot]com
February 7, 2010 at 13:34

{ 45 comments… read them below or add one }

1 iksa October 9, 2009 at 08:56

saya belum punya robot Mas Nugroho … gratisan euy ..
iksa´s last blog ..Madu Hutan Baduy, pembawanya jalan kaki ke Bogor My ComLuv Profile

Reply

2 hpnugroho October 9, 2009 at 11:18

@iksa,
masih beruntung Om .. gak dipusingkan kalo robot-nya kehabisan baterei .. hehehehe

Reply

3 elia bintang. October 9, 2009 at 23:37

waduh gw buta ttg ginian nih.. thnx infonya sekalian buat belajar juga nih.. :D
elia bintang.´s last blog ..balas dendam batik. My ComLuv Profile

Reply

4 Deka October 9, 2009 at 23:41

Wah kalo bermain dengan robot saya sich gak pernah, tapi kalo robots.txt sama gak pernah juga, he…
Deka´s last blog ..Mengenal Domain Dan DNS My ComLuv Profile

Reply

5 casrudi October 10, 2009 at 02:19

Google bisa dikadalin juga ya… :)
casrudi´s last blog ..Meminimalisir Error XHTML pada Blog My ComLuv Profile

Reply

6 My Link is Educated October 10, 2009 at 09:21

ternta file robot.txt banyak fungsinnya ya.. ta kirain cuma sekedar membolehkan search engine index
My Link is Educated´s last blog ..6 mac’s apps to tweak your Mac better My ComLuv Profile

Reply

7 Pasang Iklan Gratis October 10, 2009 at 10:22

kok tidak ada yang nyantel di pikiranku ya? hehehe…
aku kurang tau dengan yang beginian, maaf kalo tidak bisa begitu nanggepin.
salam sukses aja buat empunya blog.

Iklan Baris

Reply

8 hpnugroho October 10, 2009 at 11:22

@elia bintang,
sama, awalnya sy juga gak ngerti … bisa karna terpaksa

@Deka,
kalo anak-2 sih masih suka main robot-2an ..hehehe ..

@Casrudi
hehehe, bukan dikadalin tapi diboongin …

@My Link is Educated
kalo bisa memperbolehkan juga bisa melarang dong …

@Pasang Iklan Gratis
oke .. no problem, terima kasih kunjungannya …

Reply

9 cyzko October 10, 2009 at 12:11

SAYA MASIH BINGUNG TENTANG KONERJA ROBOT INI maklum masih belum nyampai ilmunya btw salam blogger
cyzko´s last blog ..KONTES DESIGN BANNER HADIAHNYA JUTAAN RUPIAH My ComLuv Profile

Reply

10 mas tyas October 10, 2009 at 12:11

dikit- dikit nyangkut nih mas.. tapi trus bubar lagi.. :D maklum mas gaptek.. boro- boro robot texts, ngeblog saja pake hape..
salam hangat selalu!

Reply

11 Abid Famasya October 10, 2009 at 14:38

sip…. tapi default-nya wordpress sudah buat kayaknya
Abid Famasya´s last blog ..Ayo beraksi di Blog Action Day! My ComLuv Profile

Reply

12 hpnugroho October 10, 2009 at 19:42

@cyzko,
sama dong, sy juga bingung

@mas tyas,
kalo bisa menggunakan teknologi bukan gaptek dong mas …

@Abid Famasya,
yup, wordpress saat instalasi awal akan men-generated file ini, apalagi wordpress.com kita tdk usah mikirin ini
tapi kita bisa bikin jadi tidak default untuk kepentingan tertentu, dan sayangnya wordpress.com kita tidak punya akses ke c-panel

Reply

13 Batavusqu October 10, 2009 at 23:39

@hpnugroho, @All selamat malam aja, Bayavusqu menanyakan kepada semua lekas sembuh ya bro!

Reply

14 Batavusqu October 10, 2009 at 23:40

@Batavusqu, eh salah batavusqu, maap belum bisa beli robot juga kayak pak Iksa nunggu orderan nikah nih

Reply

15 kucrit October 10, 2009 at 21:20

wah.. aku gak paham blas soal gini..
perlu banyak belajar nih..

Reply

16 hpnugroho October 10, 2009 at 23:06

@kucrit,
yuk belajar bareng …

Reply

17 Batavusqu October 10, 2009 at 23:37

@kucrit, Belajarlah sampai ke negeri China (titah rosulqu) jangan di negeri sendiri saja. Jangan puas dengan ilmumu, walau semua sudah kau raih

Reply

18 IwanKus October 10, 2009 at 22:48

trims banyak untuk infonya mas…
IwanKus´s last blog ..Mencari Ide Untuk Menulis Artikel My ComLuv Profile

Reply

19 hpnugroho October 10, 2009 at 23:11

@IwanKus,
sip .. saling berbagi aja .. :D

Reply

20 Batavusqu October 10, 2009 at 23:35

@IwanKus, jangan lupa balik lagi, pada hidangan yang lain

Reply

21 Batavusqu October 10, 2009 at 23:34

Salam Takzim
Google di Kadalin (Cas Rudi)
Buka dikadalin kang ini mah buayyyyyyaa, lho google kan mesin pencari, yang ini pencari mesin kang kkkkkaaaaabbbooooeeeerrrr
Eh ketingalan
Slam Takzim Batavusqu

Reply

22 hpnugroho October 11, 2009 at 21:18

@Batavusqu,
hehehhe …
buaya kok di kadalin ……. kekekekek

Reply

23 Abula October 11, 2009 at 02:12

wah mesti pelan2 nih mempelajarinya…
langsung dipraktekan sedikit2..
mudah2an bisa..
terima kasih ya..

Reply

24 hpnugroho October 11, 2009 at 21:19

@Abula,
kalo problem balikin ke awal lagi, enak tho …manteb tho …

Reply

25 wira October 11, 2009 at 09:41

terima kasih pencerahannya, tp saya belum berani main-main dengan yang ini..

**sebenarnya sih karena nggak bisa, hehe
wira´s last blog ..Definisi Hiatus Pada Blog My ComLuv Profile

Reply

26 hpnugroho October 11, 2009 at 21:20

@wira,
sy juga bisa karna tepaksa .. :D

Reply

27 rudy azhar October 11, 2009 at 13:27

thanks atas penerahannya Mas, ngomong-ngomong ini hanya untuk WP atawa blogspot juga bisa pake???
rudy azhar´s last blog ..Thesis theme for blogger? Why Not. My ComLuv Profile

Reply

28 hpnugroho October 11, 2009 at 21:24

@rudy azhar,
file ini adanya di public_html , jadi sepanjang bisa mengakses kedalam directory tersebut pasti bisa. Pertanyaannya apakah blogspot dan wordpress.com bisa ?
karna saya gak pake ke-2 nya, maaf jawabannya ngantung di sini …
mari kita cari bersama …

Reply

29 rudy azhar October 12, 2009 at 19:34

@hpnugroho, jadi Mas pake blog apa? yang saya lihat blog ini menggunakan wordpress???
rudy azhar´s last blog ..Thesis theme for blogger? Why Not. My ComLuv Profile

Reply

30 hpnugroho October 12, 2009 at 21:28

@rudy azhar,
oo..maksudnya blog yg hosting di wordpress.com (yg free), klo ini kan selfhosting …
maaf kurang jelas deskripsinya di atas ..
kemungkinan untuk blogspot dan free wordpress tidak bisa setting file ini …

Reply

31 dobleh yang malang October 11, 2009 at 14:48

sore sahabat…….
kunjungan perdana
wih mantab postnya sahabat

Reply

32 hpnugroho October 11, 2009 at 21:27

@dobleh yang malang,
thanks kunjungannya …

Reply

33 MasWienNews.com October 11, 2009 at 20:45

apakah robots.txt sama dengan file .htaccess untuk permalink.
MasWienNews.com´s last blog ..Makanan Yang Cocok Bagi Pebisnis My ComLuv Profile

Reply

34 hpnugroho October 11, 2009 at 21:39

@MasWienNews.com,
sepengetahuan saya sih beda mas, robots.txt ditujukan untuk akses ke directory yg ada, tidak ada pengaruh dengan permalink ..
nanti akan saya pelajari lagi deh mengenai htaccess ini, masih kurang mudeng sih …

Reply

35 NURA October 11, 2009 at 20:50

salam sobat
selamat ya sobat,,akhirnya blog ini terindex oleh google.
trims infonya,mengenai file robotsnya.
NURA´s last blog ..PERBEKALAN SAAT HAJI DI ALJUBAIL.S.A My ComLuv Profile

Reply

36 hpnugroho October 11, 2009 at 21:40

@NURA,
terima kasih kembali ..

Reply

37 Fiqih the Fachia October 12, 2009 at 01:50

Salam kenal mas..

Wah asik nih mainannya robot, walaupun robot.txt sih. Seru mas. Hehehe..

Saya sendiri kurang ngerti kl urusan Robot.txt yang bgus buat blog…

Reply

38 hpnugroho October 12, 2009 at 12:18

@Fiqih the Fachia,
sama mas, sy sendiri juga ngertinya cuma segini ,,

Reply

39 Dangstars October 12, 2009 at 06:08

Masalah itu tak pernah saya perhatikan.Namun untuk WP yang Free ,sama seperti hal diatas kah..?

Reply

40 hpnugroho October 12, 2009 at 12:19

@Dangstars,
sepertinya tidak bisa kang, soalnya kita kan gak bisa masuk public_html nya ..
kalo gak salah sih gitu …

Reply

41 Sahabat Blogger October 15, 2009 at 05:44

Untunglah blog jelek saya udah bisa di index oleh eyang google. btw info ini sangat menarik, jadi yang belum menyadari blog nya tidak bisa di index oleh google bisa baca artikel ini.

Reply

42 sasuke_stereobk January 17, 2010 at 09:09

apa robots.txt ini ya yg bikin “prosesi” klaim blog-ku di technorati gagal mulu??
Musti di ubek-ubek lagi nih…
Thanks mas Nugroho buat Nice info-nya…
sasuke_stereobk´s terakhir menulis di blog ..SmadAV Revisi 8 (With Key for Pro) My ComLuv Profile

Reply

43 sports awards March 31, 2010 at 11:28

:luvyu::puyeng::ngakak:Thanks for the comments and good luck with your website. Also let me know if you have any problem while installing the robot.txt file on your site.

Reply

44 Info Pertanian May 8, 2010 at 21:26

saya coba tips yang sampeyan berikan, ternyata berdampak positif terhadap blog saya.
Trimakasih atas informasinya
Info Pertanian´s terakhir menulis di blog ..BUku Panduan Pelaksanaan Sekolah Lapang Pengelolaan Tanaman Terpadu (SL-PTT) My ComLuv Profile

Reply

45 Sumenep June 26, 2010 at 02:43

:ngelamun:
masih nggag mudeng mas… robot oh robot…
:ngakak:
Sumenep´s terakhir menulis di blog ..SUMENEP My ComLuv Profile

Reply

Leave a Comment

:puyeng: :sniper: :ngelamun: :luvyu: :cryy: :bangs: :ngakak: :eat: more »

CommentLuv Enabled

Previous post:

Next post: