Fungsi dan Pengertian Serta Pemahaman Robots.txt Diblogger

Asalamu alaikum Team blogger semuanya, apa kabar nih, semoga semua dalam keadaan kabar baik dan di murahkan rizqi serta di jauhkan dari segala balak dan marabahaya.

Pada kesempatan kali ini saya akan berbagi sedikit pengetahuan, dan muda mudahan saja apa yang saya bagikan diartikel ini ada manfaatnya buat rekan rekan blogger pemula yang tentu saja masih banyak hal hal yang harus di pelajari.

Artikel seperti ini mungkin kalau buat para mastah tentu sudah tidak asing lagi ya, dan bahkan hampir semua blog juga sudah membahas mengenai artikel seperti yang saya terbitkan ini.

Tapi kalau buat blogger pemula, contohnya seperti saya sendiri tentu pemahaman seperti ini juga sangat penting. Karena dalam dunia blogging itu tidak cukup kalau hanya membuat artikel atau hanya update postingan Terbaru saja teman.

Oke di postingan artikel ini sesuai dengan judul saya akan berbagi Sedikit Pengertian dan pemahaman mengenai Robots.txt yang ada di blogger.

Fungsi dan pengertian Serta pemahaman Robots.txt Diblogger

Secara defaul sebelum melakukan kustom file robots.txt diblogger adalah seperti pada contoh berikut.


User-agent: Mediapartners-Google
  

Disallow: 



User-agent: * 
  

Disallow: /search 
  

Allow: / 



Sitemap: https://www.arieffsetiawan.com/sitemap.xml

Secara pengertian, Yang di sebut sebut Robots.txt itu sebenarnya hanyalah sebuah text seperti terlihat Diatas, namun berisi instruksi instruksi untuk mem bot sebuah blog atau website yang anda kelola dimesin pencarian.

Dan untuk pengertian dan pemahaman dasar mengenai Robots.txt itu sendiri dapat dijelaskan atau dapat kita bahas melalui sebuah perumpamaan mendasar.

Misalnya jika terdapat bagian dari konten disuatu blog yang ingin dibagi menjadi beberapa kategori, Mulai dari yang hanya bisa diakses oleh admin blognya saja, atau seluruh pengunjung atau mungkin bahkan mesin pencari hanya dapat merayapi satu halaman atau keseluruhan dari blog tersebut.

Nah hal tersebut semuanya bisa diatur Melalui robots.txt dan anda bisa untuk mengaturnya. Memperlihatkan dan menutup bagian tertentu pada website sesuai setingan yang telah anda seting dari File Robots.txt yang terdapat diblogger.

Dari serangkaian File robots.txt defaul diatas terbagi menjadi tiga bagian, dan masing masing text yang terdapat di dalam file robots.txt tersebut juga mempunyai perintah dan instruksi yang berbeda, meskipun hanyalah sebuah text biasa yang berformat txt namun di Setingan robots.txt ini bisa diibaratkan kalau manusia itu adalah jantungnya.



User-agent: Mediapartners-Google 

Disallow: 
User-agent: * 
  

Disallow: /search
  

Allow: / 
Sitemap: https://www.arieffsetiawan.com/sitemap.xml

Dari cuplikan kode robots.txt diatas dan dibawah ini saya akan memberikan sedikit penjelasan mengenai fungsi fungsi dari text yang ada di dalam file robots.txt tersebut.

User-agent: Mediapartners-Google Disallow:
Dari keterangan perintah di atas adalah, Setingan robots.txt memberikan ijin kepada robot google periklanan contohnya seperti google adsense untuk dapat merayapi website anda.
User-agent: *
User-agent: * yang di tandai dengan tanda bintang, itu berarti menunjukan bahwa kode/perintah yang ditempatkan di bawahnya berlaku pada semua robot pencari dan diwakili dengan tanda *
Disallow: /search
Kemudian untuk perintah (Disallow: /search) ini memberikan perintah kepada mesin bot untuk tidak merayapi halaman halaman Search setelah alamat blog. Jadi semua halaman search setelah alamat blog tidak akan diindeks dan akan dikecualikan oleh google karena sesuai perintah yang diseting di file robots.txt.
Allow: /
Dan untuk perintah Allow: / ini artinya mengijinkan robot Crawler untuk mengakses atau merayapi halaman halaman yang terdapat pada suatu blog atau website tersebut.
Sitemap: https://www.arieffsetiawan.com/sitemap.xml
Nah kalau untuk bagian ketiga, ini adalah (sitemap.xml) atau daftar isi dari semua postingan website, jadi dengan mencantumkan url sitemap.xml pada setingan file robots.txt, maka akan memudahkan mesin pencari untuk menemukan halaman halaman postingan yang ada diblog anda.

Pada pokok intinya dari setingan File robots.txt defaul blogger diatas itu menunjukan, bahwa semua robot diijinkan untuk merayapi blog atau website Tersebut. namun tidak diperbolehkan untuk merayapi atau mengindeks halaman dengan kata Search setelah alamat blog.

Fungsi dan pengertian Lainya Mengenai Robots.txt

Untuk fungsi dan pengertian Lainya mengenai robots.txt diantaranya adalah sebagai berikut :

Membatasi kegiatan robot bot
Mengontrol kegiatan spider bot
Memblokir halaman konten yang anda kelola
Dapat mengontrol mesin pencari seperti google untuk bagaimana memasuki website yang Dikelola.

Nah itulah Tadi sebagian kecil yang dapat saya sampaikan mengenai Robots.txt, mungkin selain daripada ini juga masih banyak lagi fungsi fungsi lainya yang terdapat didalam file robots.txt. jadi dari robots.txt ini kita bisa memberi instruksi instruksi kepada mesin bot pencarian sesuai dengan perintah yang ditulis difile robots.txt.

Oke ya teman teman, Untuk postingan artikel ini saya akhiri cukup sampai disini, apabila ada yang kurang berkenan dihati atau ada yang salah dalam penulisan kata kata mohon dimaklumi, atau diantara sobat ada yang ingin bertanya atau sekedar sharing berbagi pengalaman tentang seputar robots.txt saya dengan hati.