Robots.txt Checker — Validasi Allow / Disallow per User-agent
Robots.txt Checker memeriksa apakah sebuah path di website boleh atau dilarang
di-crawl oleh user-agent tertentu (mis. Googlebot, Bingbot, GPTBot). Anda bisa
memasukkan URL situs untuk fetch otomatis isi robots.txt, atau menempel langsung
konten robots.txt. Tool kemudian mensimulasikan keputusan crawler berdasarkan
aturan paling spesifik yang berlaku.
Hasil pengecekan akan muncul di sini...
Cara menggunakan Robots.txt Checker
Isi User-agent — biarkan * untuk default, atau ketik Googlebot, Bingbot, dst.
Isi Path yang ingin diuji (mis. /admin, /wp-admin/).
Masukkan URL situs (akan diambil /robots.txt-nya) atau tempel isi robots.txt manual.
Klik CEK ROBOTS. Hasil menampilkan ALLOWED atau DISALLOWED dengan aturan yang cocok.
Aturan penting robots.txt
Spesifik mengalahkan umum — Disallow: /admin di blok Googlebot mengalahkan blok *.
Allow vs Disallow paling panjang — Google memilih path match terpanjang.
Robots.txt bukan keamanan — jangan andalkan untuk menyembunyikan halaman sensitif.
Tambahkan Sitemap: di akhir untuk membantu crawler menemukan URL.
Ingat juga meta robots di tag HTML — beda fungsi dengan robots.txt.
Kapan tool ini berguna?
Audit SEO teknikal — pastikan halaman penting tidak ke-block tak sengaja.
Migrasi staging ke production — robots.txt staging sering lupa diganti.