Blokir atau Izinkan Crawler AI? GPTBot dan Kawan-kawan

Crawler AI adalah bot milik perusahaan AI yang mengunjungi website untuk mengumpulkan konten, entah untuk melatih model, membangun indeks pencarian AI, atau mengambil halaman saat pengguna bertanya. Per 4 November 2026, vendor besar memisahkan bot-bot ini dengan nama user agent yang berbeda, sehingga kamu bisa memilih mana yang diizinkan.

Keputusannya tidak harus "semua atau tidak sama sekali". Memblokir semua bot AI bisa membuat bisnismu tidak muncul saat calon pelanggan bertanya ke ChatGPT atau Perplexity. Membiarkan semuanya berarti kontenmu bisa ikut dipakai untuk pelatihan model, dan di situs kecil, lalu lintas bot bisa terasa di server.

Crawler AI apa saja yang perlu kamu kenal?

Lebih mudah dipahami bila dikelompokkan menurut fungsi, bukan menurut vendor.

Bot pelatihan model

• GPTBot (OpenAI): merayapi konten yang mungkin dipakai untuk melatih model fondasi AI generatif OpenAI. Memblokirnya memberi sinyal bahwa kontenmu tidak boleh dipakai untuk pelatihan.
• ClaudeBot (Anthropic): mengumpulkan konten web yang berpotensi dipakai untuk pelatihan. Memblokirnya memberi sinyal agar materi situsmu ke depan dikeluarkan dari dataset pelatihan.
• Google-Extended (Google): bukan bot terpisah, melainkan token di robots.txt. Perayapan tetap dilakukan dengan user agent Google yang biasa. Token ini mengatur apakah konten boleh dipakai untuk melatih generasi model Gemini berikutnya dan untuk grounding. Google menegaskan Google-Extended tidak memengaruhi keikutsertaan situs di Google Search dan bukan sinyal peringkat.

Bot indeks pencarian AI

• OAI-SearchBot (OpenAI): dipakai untuk menampilkan situs di fitur pencarian ChatGPT. OpenAI menyebut perubahan robots.txt bisa butuh sekitar 24 jam untuk berlaku.
• Claude-SearchBot (Anthropic): menjelajah web untuk meningkatkan kualitas hasil pencarian. Memblokirnya bisa mengurangi visibilitas di hasil pencarian Claude.
• PerplexityBot (Perplexity): untuk menampilkan dan menautkan situs di hasil pencarian Perplexity. Perplexity menyatakan bot ini tidak dipakai untuk merayapi konten bagi pelatihan model fondasi.

Bot atas permintaan pengguna

• ChatGPT-User, Claude-User, Perplexity-User: mengunjungi halaman saat pengguna bertanya atau meminta asisten membuka sebuah tautan. Bot ini tidak merayapi web secara otomatis. OpenAI menyebut aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User karena tindakannya dipicu pengguna, dan Perplexity menyebut Perplexity-User umumnya mengabaikan robots.txt dengan alasan yang sama. Anthropic menyatakan bot-botnya, termasuk Claude-User, menghormati robots.txt.

Perbandingan crawler AI utama

Untuk Google, aturannya berbeda. AI Overviews dan AI Mode memakai Googlebot biasa, bukan Google-Extended. Kalau Googlebot kamu blokir, situs ikut hilang dari Google Search. Untuk membatasi apa yang dikutip di fitur AI Google, pakai kontrol cuplikan seperti nosnippet atau max-snippet.

Contoh konfigurasi robots.txt

Pola yang sering dipakai bisnis yang ingin tetap ditemukan, tapi tidak ingin kontennya dipakai pelatihan:

# Tolak pelatihan model
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Izinkan pencarian AI
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Bot lain, termasuk Googlebot
User-agent: *
Disallow: /admin/

Anthropic juga mendukung ekstensi Crawl-delay yang tidak standar, misalnya Crawl-delay: 1 di bawah User-agent: ClaudeBot, untuk memperlambat perayapan. Aturan robots.txt berlaku per host, jadi subdomain perlu file sendiri.

Kapan cukup robots.txt, kapan perlu WAF?

robots.txt adalah permintaan, bukan pagar. Bot resmi vendor besar menyatakan mematuhinya, tapi file ini tidak menghentikan bot yang memalsukan nama user agent atau bot yang memang tidak peduli aturan. Untuk sebagian besar website bisnis yang tujuannya sekadar memilih "boleh dilatih atau tidak", robots.txt sudah cukup dan paling mudah dirawat.

WAF (web application firewall) diperlukan saat masalahnya beban dan penyalahgunaan: server melambat karena lonjakan permintaan bot, ada pengambilan konten massal oleh bot yang mengaku sebagai GPTBot atau Googlebot, atau kamu perlu mengatur bot atas permintaan pengguna yang tidak mengikuti robots.txt. Di WAF, aturan berbasis user agent sebaiknya digabung dengan verifikasi alamat IP. Per 4 November 2026, OpenAI menerbitkan daftar IP di openai.com/gptbot.json, openai.com/searchbot.json, dan openai.com/chatgpt-user.json. Perplexity menerbitkan www.perplexity.ai/perplexitybot.json dan www.perplexity.ai/perplexity-user.json. Anthropic menerbitkan daftar IP di claude.com/crawling/bots.json.

Contoh logika aturan WAF yang masuk akal: izinkan permintaan dengan user agent bot pencarian AI hanya bila IP-nya ada di daftar resmi, beri batas laju (rate limit) untuk semua bot, dan tantang atau tolak permintaan yang mengaku sebagai bot besar tetapi datang dari IP di luar daftar. Penjelasan dasar WAF ada di apa itu WAF, dan untuk lonjakan trafik yang mengarah ke serangan, lihat anti-DDoS VPS.

Keputusan akhirnya tergantung jenis situs. Toko online, jasa lokal, dan company profile umumnya diuntungkan bila tetap bisa dikutip asisten AI, jadi izinkan bot pencarian. Situs yang menjual konten berbayar, riset orisinal, atau materi kursus lebih punya alasan untuk menolak bot pelatihan dan membatasi bot lainnya. Setelah mengubah aturan, periksa dampaknya dengan cara di cek brand di ChatGPT dan Gemini. File llms.txt tidak menggantikan pengaturan ini, seperti dijelaskan di apa itu llms.txt.