KODE AMPUH ROBOTS TXT BLOGGER

 Apa Itu Robts Txt Blogger....

        

Robots.txt kustom adalah file teks yang berisi beberapa baris kode sederhana. Robots.txt kustom ini disimpan di situs web atau blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog kamu dalam hasil pencarian.

Dengan robots.txt kustom ini, kamu dapat membatasi halaman web di blogger atau blogspot dari crawler web sehingga tidak bisa di indeks di mesin pencari seperti halaman label blog , halaman demo atau halaman lain yang tidak penting untuk diindeks. Dan yang harus kamu ingat adalah bahwa perayap dari mesin pencarian akan memindai file robots.txt kustom sebelum merayapi laman web mana pun.

Kode Robots Txt Blogger...

Setiap blog yang dihosting di blogger atau blogspot harus memiliki file kode robots.txt kustom default. Berikut adalah kode default untuk robots.txt kustom agar kamu mengetahui cara setting robots.txt kustom di blogger atau blogspot yang benar.

          KODE ROBOTS.TXT

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap:https://urlblogkamu.blogspot.com/​sitemap.xml/seo/post/label/seo

Masukan satu per satu ya sobat.

Fungsi dari kode robots txt.

User-agent: Mediapartners-Google

Fungsi kode robots.txt kustom ini adalah untuk membantu robot Google Adsense agar ia menampilkan iklan yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau tidak. biarkan begitu saja.

Disallow:

Fungsi kode robots.txt kustm ini adalah untuk tidak mengizinkan halaman tertentu untuk dirayapi atau diindex.

Disallow: /search

Fungsi kode robots.txt ini agar tautan yang memiliki pencarian kata kunci tepat setelah nama domain itu diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.

https://proyek-samarinda.blogspot.com/search/label/SEO

Jika kita menghapus Disallow: / search dari kode robots.txt kustom default di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merayapi semua konten dan halaman webnya.

User-agent: *

Fungsi kode robotp.txt kustom ini agar semua robots yang ditandai dengan tanda bintang (*) merayapi blog kita.

Allow: /

Fungsi kode robots.txt kustom ini adalah untuk mengizinkan semua konten blog kamu agar dirayapi.

Sitemap:

Fungsi kode robots.txt kustom ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini, kamu hanya mengoptimalkan tingkat perayapan blog kamu. Berarti kapan pun perayap web memindai file robots.txt kustom kamu, mereka akan menemukan jalur ke sitemap blog kamu yang merupakan tempat semua tautan pos yang kamu terbitkan.