Cara setting robots txt custom di blogger

Hello sobat Bloggermuda kali ini admin bakalan menjabarkan mengenai apa itu robots.txt dan bagaimana cara kustom robots.txt di blogger

Info: jika kamu sudah penasaran dengan pembahasan kita kali ini yuk langsung aja kita bahas bersama sama

Apa itu Robots.txt

Robots.txt adalah file teks khusus yang disimpan di direktori root sebuah situs web yang memberikan instruksi kepada web crawlers atau bot web tentang bagian mana dari situs web yang boleh atau tidak boleh diindeks atau diakses. File robots.txt biasanya digunakan oleh pemilik situs web untuk mengontrol cara mesin pencari seperti Google, Bing, Yahoo, dan bot web lainnya menjelajahi dan mengakses halaman-halaman situs mereka.

Fungsi utama dari file robots.txt adalah untuk memberikan instruksi kepada web crawlers tentang halaman mana yang boleh atau tidak boleh diindeks. Hal ini memungkinkan pemilik situs untuk mengontrol bagaimana mesin pencari mengindeks konten situs mereka, sehingga mereka dapat mengarahkan mesin pencari untuk fokus pada konten yang penting dan relevan.

File robots.txt terdiri dari beberapa aturan dan direktif yang ditetapkan dalam format teks sederhana. Biasanya file tersebut berisi dua bagian utama: user-agent dan directives. User-agent menyatakan nama dari bot web yang akan menerima instruksi yang diatur di bawahnya, sedangkan directives adalah instruksi yang diberikan kepada bot web tersebut, seperti "Disallow" untuk melarang akses ke halaman tertentu atau "Allow" untuk mengizinkan akses ke halaman tertentu.

Dengan menggunakan file robots.txt, pemilik situs web dapat mengarahkan mesin pencari untuk menjelajahi situs mereka dengan lebih efisien, membatasi akses ke halaman-halaman yang sensitif, atau mengarahkan bot web untuk mengindeks bagian-bagian tertentu dari situs web. Hal ini membantu meningkatkan pengalaman pengguna dan memastikan bahwa situs web tetap relevan dan terindeks dengan baik oleh mesin pencari.

Robots.txt Default (No custom)

File robots.txt default adalah file yang secara otomatis dibuat oleh server web dan tidak diubah atau disesuaikan oleh pemilik situs. File robots.txt default ini biasanya memberikan instruksi umum kepada mesin pencari tentang bagaimana mereka harus menjelajahi dan mengindeks situs web, berikut adalah contoh isi file robots.txt default untuk pengguna blogger

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.bloggermuda.com/sitemap.xml

Info: Untuk mengecek robots.txt file kamu silahakan gunakan url https://www.bloggermuda.com/robots.txt (Ubah dengan domain kamu)

Setting Robots.txt custom

Baiklah sobat Bloggermuda jika kamu ingin mengatur Robots.txt custom di blogger, silahkan baca dan ikuti setiap arahan yang bakal admin jelaskan di bawah ini

1. Langkah pertama yang bisa kamu lakukan adalah pergi ke menu pengaturan blogger dengan mengklik tombol menu Setelan seperti contoh gambar di bawah ini

2. Kemudian di dalam menu setelan silahkan scroll tampilan ke atas hingga menemukan pengaturan Crawler dan pengindeksan, pada bagian Aktifkan robots.txt kustom atur ke mode On seperti contoh gambar di bawah ini

3. Langkah selanjutnya silahkan klik tombol robots.txt custom untuk mulai membuat robots.txt custom di blogger

4. Jika sudah kemudian salin kode robots.txt kustom di bawah ini

User-agent: Mediapartners-Google
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 

User-agent: *
Allow: /
Disallow: /search?q=
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=

Sitemap: https://www.bloggermuda.com/sitemap.xml
Sitemap: https://www.bloggermuda.com/sitemap-pages.xml
Sitemap: https://www.bloggermuda.com/atom.xml
Sitemap: https://www.bloggermuda.com/feeds/posts/default

Info: Silahkan ubah domain dengan milik anda dan kamu juga bisa mengedit halaman website yang ingin di index atau tidak ingin di index, rumusnya: Allow adalah halaman yag di index sedangkan Disallow adalah halaman yang tidak di index

5. Terakhir silahkan simpan file robots.txt seperti contoh gambar di bawah ini

Info: Begitulah sobat mengenai pembahasan kita kali ini mengenai cara menambahkan robots.txt kustom di blogger, semoga bermanfaat