Cara Setting robot.txt di Blogspot

Cara Setting robot.txt di Blogspot - Pada kesempatan kali ini saya akan lanjutkan membahas tentang tips dan trick blog : cara setting robot.txt di blog. Ada beberapa pelajaran yang saya ambil dari para master blog tentang cara setting robot.txt di blog saya ini agar lebih seo ( search engine optimization ) friendly dan untuk meningkatkan trafik blog.

Sebenarnya tanpa mengaktifkan robot.txt di blog secara manual pun blog kita tetap akan terindex oleh search engine dan tidak ada masalah jika kita tidak meng custom setting robot.txt di blog nya., karena pada blog bawaan blogger telah tersedia robot.txt. Tapi bila kita ingin lebih mengoptimalkan robot.txt agar blog lebih seo Friendly bisa menggunakan custom setting robot.txt yang akan saya bagikan. 

 

Untuk lebih jelasnya silakan simak baik baik langkah yang saya bagikan berikut ini :

1. Login terlebih dahulu di blogger.com
2. Pilih blog >> setting >> search and preferences >> klik edit custom robot.txt
3. Setelah itu akan terbuka kotak kosong pada edit custom robot.txt tersebut. Berikut ini contoh robot.txt yang bisa kita gunakan:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://dweblogs.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan : Silahkan ganti "http://dweblogs.blogspot.com" diatas dengan URL blog anda sendiri.

4. Klik save dan selesai.

 

Penjelasan:

User-agent: Mediapartners-Google
Disallow:

Maksud kode baris perintah ini adalah mengijinkan kepada user-agen google adsense untuk meng crawl seluruh isi blog anda agar bisa menampilkan iklan secara relevan pada blog anda. Jika anda ingin menggunakan google adsense, sebaiknya kode baris ini jangan dihapus. Jangan mengotak atik kode baris perintah ini agar iklan google adsense bisa relevan dengan isi blog anda.

User-agent: *
Disallow: /search
Allow: /

Maksud kode baris perintah kedua ini adalah mengijinkan kepada seluruh user-agen search engine untuk meng crawl seluruh isi blog kecuali directory yang berisi labels di blog sahabat. Kita bisa lihat Disallow: /search yang berfungsi untuk melarang bot search engine meng crawl directory labels ini.

Sitemap: http://dweblogs.blogspot.com/feeds/posts/default?orderby=UPDATED

Maksud kode baris perintah robot.txt ini perintah menambahkan sitemap dengan post artikel blog yang sudah update agar postingan kita cepat terindeks google.