Cara Mengatasi Masalah Diindeks Meski Diblokir Oleh Robots.txt

Masalah warning di indeks meski di blokir oleh robots.txt dari webmaster google search console ini memang kerap terjadi, terutama pada blog yang berplatform blogger. Nah Jika anda mempunyai sebuah domain yang di hosting di blogger sebelum anda menyeting setingan robots txt, sudah di pastikan anda akan menerima email dari webmaster google search console mengenai cakupan masalah di indeks meski di blokir oleh robots.txt

Mengenai cakupan masalah dari webmaster google search console, memang bermacam macam masalah dan bukan hanya masalah indeks saja, namun juga masalah Lainya yang sekiranya tidak standard dengan google, maka secara otomatis akan langsung terdeteksi dan si pemilik blog akan langsung di kirimi Email oleh mbah google

Penyebab Munculnya Warning Diindeks Meski Diblokir Oleh Robots.Txt Adalah

Penyebab munculnya peringatan dari GSC tentang diindeks meski diblokir oleh robots.txt adalah. Karena halaman tersebut valid atau benar adanya halaman tersebut, namun googlebot tidak bisa merayapi halaman tersebut atau tidak di berikan izin. Dan sehingga munculah peringatan diindeks meski diblokir oleh robots.txt.

Peringatan diindeks meski diblokir oleh robots.txt itu artinya bahwa halaman tersebut diindeks namun di blokir oleh robots.txt. Oleh karena itu jika kita tinjau di google search console, maka kita akan menemukan atatus valid dengan peringatan seperti berikut inilah contohnya

Cara Mengatasi Masalah Diindeks Meski Diblokir Oleh Robots.txt

Dan kalau kita klik kita tinjau, nanti kita akan melihat CONTOH halaman yang di blokir oleh robots.txt, dan berikut ini saya mencontohkan blog saya sendiri. Tapi saya biarkan saja karena memang halaman tersebut memang di sengaja untuk tidak usah dirayapi atau diindeks.

Cara Mengatasi Masalah Diindeks Meski Diblokir Oleh Robots.txt

Status warning dengan alasan di indeks meski di blokir oleh robots.txt sebenarnya bukan juga masalah yang serius, dan anda tidak perlu panik dengan menerima notifikasi tersebut

Sebelum anda mencoba untuk memperbaikinya, alangkah baiknya jika anda meninjau dulu letak halaman mana yang menyatakan di blokir oleh robots.txt tersebut. Nah jika halaman yang di blokir oleh robots.txt merupakan halaman search maka anda tidak perlu terburu buru dan anda perlu mempertimbangkannya kembali untuk memperbaikinya

Mengapa Halaman Search Di Blokir Oleh Robots.Txt

Jika anda menggunakan Platform blogger, dari setingan default memang halaman search sudah di blokir oleh robots.txt. Karena halaman search merupakan halaman yang mempunyai kualitas rendah, dan halaman search juga bukan halaman aslinya, halaman search ini bisa berubah sawaktu waktu

Dan untuk halaman search atau URL yang di awali dengan kata Search, di blogger di gunakan untuk halaman Label, halaman Pencarian, dan untuk menampilkan daftar postingan blog. Nah untuk lebih jelasnya yuk mari kita lihat URL dari ketiga halaman tersebut di bawah ini

https://www.arieffsetiawan.com/search/label/Blogging
https://www.arieffsetiawan.com/search?q=Tutorial&max-results=8&
https://www.arieffsetiawan.com/search?updated-max=2020-08-05T22:22:00-08:00&max-results=7&

Mengapa halaman search sengaja di larang oleh robots.txt blogger untuk di rayapi atau di indeks. Karena halaman search tersebut seperti yang sudah saya jelaskan di atas, bahwa halaman search merupakan halaman yang mempunyai kualitas rendah. Dan jika di rayapi maka akan menghasilkan hasil tanpa batas, karena halaman search bukan halaman postingan aslinya dan bisa berubah sewaktu waktu

Namun karena halaman halaman tersebut di tautkan di blog seperti pada breadcrumb, Menu, widget label, atau pada navigasi Next Prev. Makanya halaman halaman search tetap di rayapi oleh mesin pencarian atau googlebot. Nah lalu bagaimana cara mengatasi masalah di indeks meski di blokir oleh robots.txt

Cara Mengatasi Masalah Diindeks Meski Diblokir Oleh Robots.Txt

Cara mengatasi masalah di indeks meski di blokir oleh robots.txt di blogger ada dua cara yang akan saya jelaskan disini. Cara pertama melalui menu setingan yang ada di blogger, dan cara kedua melalui Edit template pada blog

Namun sebelum anda mencoba untuk step yang pertama dan step kedua, dari cara yang akan saya jelaskan. kembali lagi saya ingatkan untuk meninjau terlebih dahulu halaman mana yang di blokir oleh robots.txt. Dan setelah anda meninjau cakupan masalah di google search console, dan mendapati notifikasi bahwa adanya halaman yang valid dangan peringatan Lalu silahkan anda klik dan lihat url halaman apa yang di blokir oleh robots.txt

Jika yang di blokir oleh robots.txt adalah halaman halaman seperti yang saya contohkan dari ketiga halaman di atas. Halaman itu memang tidak perlu di rayapi atau di indeks, jadi di biarkan saja tidak masalah. Namun jika yang di blokir oleh robots.txt adalah halaman postingan atau produk lainya. Maka hal ini harus cepat cepat di atasi

Tapi kalau anda masih tetap ingin memperbaiki cakupan masalah di indeks meski di blokir oleh robots.txt mari kita simak panduan dan step stepnya cara memperbaiki masalah di indeks meski di blokir oleh robots.txt

Secara default sebelum di kustom, file robots.txt di blogger tampilanya seperti berikut ini


User-agent: Mediapartners-Google
Disallow: 



User-agent: *  


Disallow: /search


Allow: / 



Sitemap: https://www.arieffsetiawan.com/sitemap.xml

Nah dari setingan robots.txt default yang ada di blogger, ini menunjukan bahwa semua halaman yang di awali dengan kata search akan di blokir oleh robots.txt. karena adanya perintah Disallow: /search yang terdapat di setingan file robots.txt

Dan solusinya adalah dengan menghapus perintah Disallow: /search pada setingan file robots.txt. Lalu bagaimana cara menghapusnya? Untuk menghapus perintah Disallow: /search mari ikuti petunjuk di bawah ini

Yang pertama silahkan anda Login atau Masuk di akun blogger masing masing
Selanjutnya Pilih menu setting atau setelan
Lalu scrool kebawah dan temukan Crawler dan pengindeksan kemudian aktifkan robots.txt kustom

Setelah anda mengaktifkan robots.txt kustom, langkah selanjutnya silahkan anda Copy file robots.txt yang sudah di kustom berikut. Lalu paste di file robots.txt dan klik Simpan


User-agent: Mediapartners-Google
Disallow: 



User-agent: *  


Allow: / 


Disallow:



Sitemap: https://www.arieffsetiawan.com/sitemap.xml

Dengan menerapkan cara di atas, berarti setingan robots.txt sudah tidak memblokir halaman apapun. Dan para mesin perayap seperti googlebot bing yandex dan lainya bebas merayapi halaman manapun

KETERANGAN : Silahkan di ganti arieffsetiawan.com dengan domain anda sendiri, dan setelah melakukan perbaikan pada robots.txt. Sekarang pergi ke google search console, pilih cakupan valid dengan peringatan lalu klik di bagian peringatan diindeks meski diblokir oleh robots.txt dan pilih tombol validasi perbaikan

Setelah melakukan step step di atas, sekarang silahkan anda menunggu hasil dari validasi pada google search console. Jika permasalahanya cuma dari setingan robots.txt, maka peringatan atau warning di indeks meski di blokir oleh robots.txt sudah berhasil di atasi

Namun jika validasi perbaikan yang anda lakukan ternyata gagal. Berarti ada masalah lain selain dari setingan robots.txt, dan permasalahan tersebut terletak pada tag meta yang di gunakan pada template blog

Cara Memperbaiki Cakupan Indeks Dengan Memeriksa Tag meta Pada Template Blog

Selain dari setingan robots.txt, peringatan masalah indeks ini juga bisa di sebabkan karena adanya perintah noindex pada template blog tersebut. Kurang lebih seperti contoh berikut kode tag meta yang mencekal para robot untuk tidak merayapi halaman halaman tertentu


<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
	<meta content='noindex,noarchive' name='robots'/>
</b:if>

Keterangan dari kode tag meta di atas adalah, memberi tahu kepada semua robot crawler, untuk tidak merayapi atau mengindeks halaman Label halaman Pencarian dan halaman archive pada blog. Menurut saya pribadi dari ketiga halaman tersebut memang tidak perlu di indeks.

Tapi jika anda masih ingin tetap memperbaiki cakupan masalah indeks pada google search console, Silahkan anda hapus semua kode di atas dari template blog anda. Dan pastikan di template blog sudah tidak ada lagi kode noindex seperti berikut


 <meta content='noindex, noarchive' name='robots'/>

Pastikan anda sudah memeriksa kode tag meta tersebut mulai dari <head> sampai </head> dan kalau masih terdapat kode noindex maka hapus kode tersebut

Setelah menerapkan semua cara cara seperti di atas, di pastikan peringatan di indeks meski di blokir oleh robots.txt akan teratasi. Dan jangan lupa untuk melakukan Validasi Perbaikan di google search console. Untuk melihat perubahan pada file robots.txt anda bisa mengkopy url seperti berikut lalu paste di browser anda, domain-anda silahkan di ganti dengan domain anda sendiri lalu klik Enter pada keyboard


https://www.domain-anda.com/robots.txt



https://domain-anda.blogspot.com/robots.txt

Nah demikianlah sedikit panduan dari saya cara mengatasi cakupan masalah di indeks meski di blokir oleh robots.txt semoga bisa membantu rekan rekan blogger semuanya. Dan tak lupa saya ucapkan banyak banyak terima kasih atas waktu dan kunjungan dari anda semua