Setingan Robots.txt dan Tag header robot kustom Yang aman Di blogger

Setingan robots.txt dan tag header robot kustom diblogger yang aman itu sebenarnya seperti apa sih? mungkin diantara anda ada yang bertanya tanya mengenai Cara seting robots.txt dan tag header robot kustom ini.

Menurut saya pribadi kalau blog yang kita kelola ini merupakan blog personal, Sebaiknya menggunakan setingan robots.txt default itu akan lebih aman dan yang pasti juga sangat efektif, karena robots.txt default merupakan Pemberian langsung dari blogger sendiri.

Apakah Robots.txt Default Blogger bekerja dengan Baik pada blog yang kita kelola?

Sudah pasti robots.txt default blogger bekerja dengan baik dan yang pastinya tidak akan mengecewakan, dan anda tidak perlu menyeting ulang karena file robots.txt default ini sudah ada semenjak kita membuat blog, langsung dibekali dengan file robots.txt dari blogger.

akan tetapi kita sebagai admin blog, tentu masih ada yang kurang pas dihati. dan ingin mencoba mengkustom robots.txt tersebut dengan alasan alasan tertentu, misalnya supaya blog tambah SEO atau untuk alasan lainya seperti mencekal suatu halaman halaman supaya tidak di indeks oleh google.

Nah berikut ini adalah Beberapa file robots.txt untuk blogger yang aman dan yang pasti SEO friendly jika anda ingin mengkustom file robots.txt, tidak ada salahnya untuk mencoba robots.txt berikut.

ROBOTS.TXT DEFAULT


User-agent: Mediapartners-Google
 
 
Disallow: 



User-agent: * 


Disallow: /search 


Allow: / 



Sitemap: https://www.alamat-bloganda.com/sitemap.xml

Robots.txt diatas merupakan robots.txt default blogger, jadi anda tidak perlu melakukan kustom robots.txt, dan memasukan kode robots.txt di atas.

ROBOTS.TXT KUSTOM 1


User-agent: Mediapartners
Allow: /
User-agent: Googlebot-News
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Slurp
Allow: /
User-agent: bingbot
Allow: /
User-agent: MSNBot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: Baiduspider-image
Allow: /
User-agent: YoudaoBot
Allow: /
User-agent: Sogou web spider
Allow: /

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.alamat-bloganda.com/sitemap.xml 

Sitemap: https://www.alamat-bloganda.com/feeds/posts/default 

Sitemap: https://www.alamat-bloganda.com/atom.xml?redirect=false&start-index=1&max-results=500 

Sitemap: https://www.alamat-bloganda.com/sitemap-pages.xml

ROBOTS.TXT KUSTOM 2


User-agent: * 


Disallow: /search 


Allow: / 



Sitemap: https://www.alamat-bloganda.com/sitemap.xml

ROBOTS.TXT KUSTOM 3


User-agent: Mediapartners-Google
  

Disallow:



User-agent: *


Disallow: /search


Disallow: /p/about.html


Disallow: /p/contact.html
  

Allow: /



Sitemap: https://www.alamat-bloganda.com/sitemap.xml

Robots.txt diatas merupakan robots.txt yang umum dan yang banyak di pakai oleh kebanyakan para blogger, tapi kalau anda sudah paham betul apa maksud dari robots.txt. anda bahkan juga bisa melakukan kustom yang lebih dari contoh diatas.

Untuk robots.txt kita akhiri cukup sampai disini ya, Selanjutnya mari kita bahas Cara seting tag header robot kustom yang aman agar terhindar dari duplikat konten oleh google search console.

Cara seting Tag header robot kustom yang aman dan Seo

Tag header robot kustom ini walaupun tidak di seting sebenarnya juga tidak apa apa, meskipun di biarkan default artikel juga tetap terindex, dan muncul juga di google penelusuran. Namun alangkah baiknya tag header robot kustom ini kita sedikit melakukan setingan, untuk menghindari adanya duplikat konten pada google search console.

Tag robot kustom untuk halaman beranda
Tag robot kustom untuk halaman beranda, seting seperti pada contoh di bawah ini.

Tag robot kustom untuk halaman penelusuran dan arsip
Untuk halaman arsip dan penelusuran, seting seperti berikut.

Tag robot kustom untuk postingan dan halaman
Tag robot kustom untuk postingan dan halaman, setingan yang rekomendasi seperti berikut.

KETERANGAN :
All: Jika anda menerapkan fitur ini, itu berarti anda mengijinkan mesin pencari untuk menelusuri atau mengindeks semua konten pada halaman tersebut. Jadi untuk tag bagian Home page postingan sebaiknya gunakan tag ini agar semua postingan anda terindex oleh google.

Noindex: memberi perintah kepada robot mesin pencari agar tidak merayapi atau mengindex direktori tersebut. Jadi untuk halaman penelusuran dan arsip sebaiknya pilih tag noindex ini.

Nofollow: Tag nofollow ini memberi perintah kepada robot mesin pencari, agar tidak mengikuti tautan link di halaman.

Noarchive: Memberi perintah kepada robot pencarian untuk tidak menampilkan link cache dalam hasil penelusuran.

Oke sobat, cukup sampai disini dulu ya postingan artikel kali ini, mengenai cara seting robots.txt dan tag header robot kustom di blogger. Semoga bermanfaat dan apabila ada diantara sobat yang ingin berbagi pengalaman, atau sekedar sharing monggo silahkan ditulis melalui kolom komentar dibawah. Thanks you for all