Akhirnya blog ini terindex oleh Google setelah beberapa lama mengalami problem dengan robots.txt yang menghalangi Google bot merayapi halaman blog ini. Tidak seperti blog yang terdahulu yang dengan mudah di index oleh Google, file robots.txt yang di generated disini agak berbeda. Selain itu juga karena file tersebut ‘ngumpet’ bersembunyi entah dimana. Padahal sebelumnya saya tidak [...]
Posts tagged as:
index
Sudah seminggu ini mencoba merapikan atau lebih tepatnya merubah robots.txt dari domain ini. Sang robot itu membuat blokade dijalan masuk sang spiderman milik Google. Entah kenapa semua url yang ada jadi di blok. Padahal jika di lihat isinya file robots.txt itu benar sesuai dengan yang di anjurkan dalam webmaster Google.
Sampai frustasi dan membuat ulang file [...]
