Bisa dengan User-agent GPTBot Disallow /.

Robots Generator | Galih Tools

Q: Apakah robots.txt mengikat semua bot?

Tidak, hanya bot yang patuh standar.

Q: Apakah robots.txt aman untuk halaman rahasia?

Tidak, file ini publik. Gunakan auth atau IP allowlist.

Q: Apakah perlu update saat menambah halaman?

Hanya bila menambah pola Disallow baru.

Robots.txt Generator menyusun file robots.txt yang valid sesuai standar Robots Exclusion Protocol. Tentukan user-agent (Googlebot, Bingbot, GPTBot, ClaudeBot, atau wildcard *), path yang di-Allow atau di-Disallow, dan URL sitemap pelengkap. File ini wajib ada di root domain untuk mengontrol bagian situs mana yang boleh di-crawl, sangat penting untuk SEO teknikal dan privasi konten.

Cara menggunakan Robots.txt Generator

Isi user-agent target (default * untuk semua bot).
Tulis path Allow dan Disallow per baris.
Tambahkan URL sitemap (mis. https://galih.us/sitemap.xml).
Klik GENERATE ROBOTS, salin ke file /robots.txt.

User-agent populer

* — semua crawler.
Googlebot — Google Search.
Bingbot — Bing.
GPTBot — crawler OpenAI.
ClaudeBot — crawler Anthropic.
CCBot — Common Crawl.

Pola path yang umum di-Disallow

/admin/, /wp-admin/ — area admin.
/search, /?s= — halaman pencarian internal.
/cart, /checkout — halaman transaksi.
/api/ — endpoint API yang tidak perlu di-index.
/*.pdf$ — file PDF (opsional).

Kapan tool ini berguna?

Launch website baru — wajib pasang robots.txt.
Blok bot AI agar konten tidak di-scrape model.
Audit SEO — pastikan path penting tidak terblokir.
Hindari duplicate content dari URL parameter.

Tips kombinasi

Test rule dengan Robots.txt Checker.
Buat sitemap di Sitemap Generator.
Cek meta robots HTML via Meta Checker.

FAQ Robots.txt Generator

Apakah robots.txt mengikat semua bot?

Tidak — hanya bot yang patuh standar (Google, Bing, dll). Malicious bot bisa abaikan.

Bisakah blok GPTBot?

Bisa dengan User-agent: GPTBot diikuti Disallow: /.

Apakah robots.txt aman untuk halaman rahasia?

Tidak — file ini publik dan justru menunjukkan path rahasia. Gunakan auth/IP allowlist untuk privasi.

Apakah perlu update saat menambah halaman?

Hanya bila Anda menambah pola Disallow baru. Tambah URL biasa tidak butuh update robots.txt.