--- title: "Blokir atau Izinkan Crawler AI? GPTBot dan Kawan-kawan" description: "Daftar crawler AI utama (GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot), fungsinya, dan contoh aturan robots.txt serta WAF." url: "https://nivelva.com/insight/blokir-izinkan-crawler-ai" category: "Keamanan/Cyber Security" tags: ["crawler ai","gptbot","claudebot","robots.txt","waf"] author: "Theresia Candiawan" published: "2026-11-05T20:31:00+07:00" updated: "2026-11-05T20:31:00+07:00" language: "id" publisher: "Nivelva (https://nivelva.com)" --- # Blokir atau Izinkan Crawler AI? GPTBot dan Kawan-kawan > **Jawaban singkat:** Crawler AI terbagi tiga: pelatihan model (GPTBot, ClaudeBot, Google-Extended), indeks pencarian AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot), dan permintaan pengguna (ChatGPT-User, Claude-User). Blokir bot pelatihan untuk melindungi konten, izinkan bot pencarian agar tetap dikutip. Crawler AI adalah bot milik perusahaan AI yang mengunjungi website untuk mengumpulkan konten, entah untuk melatih model, membangun indeks pencarian AI, atau mengambil halaman saat pengguna bertanya. Per 4 November 2026, vendor besar memisahkan bot-bot ini dengan nama user agent yang berbeda, sehingga kamu bisa memilih mana yang diizinkan. Keputusannya tidak harus "semua atau tidak sama sekali". Memblokir semua bot AI bisa membuat bisnismu tidak muncul saat calon pelanggan bertanya ke ChatGPT atau Perplexity. Membiarkan semuanya berarti kontenmu bisa ikut dipakai untuk pelatihan model, dan di situs kecil, lalu lintas bot bisa terasa di server. ## Crawler AI apa saja yang perlu kamu kenal? Lebih mudah dipahami bila dikelompokkan menurut fungsi, bukan menurut vendor. ### Bot pelatihan model - **GPTBot (OpenAI):** merayapi konten yang mungkin dipakai untuk melatih model fondasi AI generatif OpenAI. Memblokirnya memberi sinyal bahwa kontenmu tidak boleh dipakai untuk pelatihan. - **ClaudeBot (Anthropic):** mengumpulkan konten web yang berpotensi dipakai untuk pelatihan. Memblokirnya memberi sinyal agar materi situsmu ke depan dikeluarkan dari dataset pelatihan. - **Google-Extended (Google):** bukan bot terpisah, melainkan token di `robots.txt`. Perayapan tetap dilakukan dengan user agent Google yang biasa. Token ini mengatur apakah konten boleh dipakai untuk melatih generasi model Gemini berikutnya dan untuk grounding. Google menegaskan Google-Extended tidak memengaruhi keikutsertaan situs di Google Search dan bukan sinyal peringkat. ### Bot indeks pencarian AI - **OAI-SearchBot (OpenAI):** dipakai untuk menampilkan situs di fitur pencarian ChatGPT. OpenAI menyebut perubahan `robots.txt` bisa butuh sekitar 24 jam untuk berlaku. - **Claude-SearchBot (Anthropic):** menjelajah web untuk meningkatkan kualitas hasil pencarian. Memblokirnya bisa mengurangi visibilitas di hasil pencarian Claude. - **PerplexityBot (Perplexity):** untuk menampilkan dan menautkan situs di hasil pencarian Perplexity. Perplexity menyatakan bot ini tidak dipakai untuk merayapi konten bagi pelatihan model fondasi. ### Bot atas permintaan pengguna - **ChatGPT-User, Claude-User, Perplexity-User:** mengunjungi halaman saat pengguna bertanya atau meminta asisten membuka sebuah tautan. Bot ini tidak merayapi web secara otomatis. OpenAI menyebut aturan `robots.txt` mungkin tidak berlaku untuk ChatGPT-User karena tindakannya dipicu pengguna, dan Perplexity menyebut Perplexity-User umumnya mengabaikan `robots.txt` dengan alasan yang sama. Anthropic menyatakan bot-botnya, termasuk Claude-User, menghormati `robots.txt`. ## Perbandingan crawler AI utama | User agent | Vendor | Fungsi | Patuh robots.txt? | Efek bila diblokir | |:--|:--|:--|:--|:--| | GPTBot | OpenAI | Pelatihan model | Ya | Konten tidak dipakai untuk pelatihan | | OAI-SearchBot | OpenAI | Pencarian ChatGPT | Ya | Konten tidak dipakai untuk ringkasan di pencarian ChatGPT, paling jauh hanya tautan dan judul | | ChatGPT-User | OpenAI | Permintaan pengguna | Mungkin tidak berlaku | Sebaiknya diatur di level server bila perlu | | ClaudeBot | Anthropic | Pelatihan model | Ya | Konten ke depan dikeluarkan dari pelatihan | | Claude-SearchBot | Anthropic | Pencarian Claude | Ya | Visibilitas di pencarian Claude berkurang | | Claude-User | Anthropic | Permintaan pengguna | Ya | Claude tidak mengambil halaman untuk pertanyaan pengguna | | Google-Extended | Google | Pelatihan Gemini dan grounding | Token robots.txt | Tidak berpengaruh ke Google Search | | PerplexityBot | Perplexity | Pencarian Perplexity | Diatur lewat robots.txt | Tidak tampil di hasil pencarian Perplexity | | Perplexity-User | Perplexity | Permintaan pengguna | Umumnya diabaikan | Sebaiknya diatur di level server bila perlu | Untuk Google, aturannya berbeda. AI Overviews dan AI Mode memakai Googlebot biasa, bukan Google-Extended. Kalau Googlebot kamu blokir, situs ikut hilang dari Google Search. Untuk membatasi apa yang dikutip di fitur AI Google, pakai kontrol cuplikan seperti `nosnippet` atau `max-snippet`. ## Contoh konfigurasi robots.txt Pola yang sering dipakai bisnis yang ingin tetap ditemukan, tapi tidak ingin kontennya dipakai pelatihan: ```text # Tolak pelatihan model User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / # Izinkan pencarian AI User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / # Bot lain, termasuk Googlebot User-agent: * Disallow: /admin/ ``` Anthropic juga mendukung ekstensi `Crawl-delay` yang tidak standar, misalnya `Crawl-delay: 1` di bawah `User-agent: ClaudeBot`, untuk memperlambat perayapan. Aturan `robots.txt` berlaku per host, jadi subdomain perlu file sendiri. ## Kapan cukup robots.txt, kapan perlu WAF? `robots.txt` adalah permintaan, bukan pagar. Bot resmi vendor besar menyatakan mematuhinya, tapi file ini tidak menghentikan bot yang memalsukan nama user agent atau bot yang memang tidak peduli aturan. Untuk sebagian besar website bisnis yang tujuannya sekadar memilih "boleh dilatih atau tidak", `robots.txt` sudah cukup dan paling mudah dirawat. WAF (web application firewall) diperlukan saat masalahnya beban dan penyalahgunaan: server melambat karena lonjakan permintaan bot, ada pengambilan konten massal oleh bot yang mengaku sebagai GPTBot atau Googlebot, atau kamu perlu mengatur bot atas permintaan pengguna yang tidak mengikuti `robots.txt`. Di WAF, aturan berbasis user agent sebaiknya digabung dengan verifikasi alamat IP. Per 4 November 2026, OpenAI menerbitkan daftar IP di `openai.com/gptbot.json`, `openai.com/searchbot.json`, dan `openai.com/chatgpt-user.json`. Perplexity menerbitkan `www.perplexity.ai/perplexitybot.json` dan `www.perplexity.ai/perplexity-user.json`. Anthropic menerbitkan daftar IP di `claude.com/crawling/bots.json`. > **Jangan hanya memblokir IP:** > > Anthropic tidak menyarankan pemblokiran IP sebagai cara opt-out, karena bot jadi tidak bisa membaca `robots.txt` dan opt-out tidak terjamin berlaku. OpenAI juga meminta pemilik situs memastikan firewall atau CDN tidak memblokir IP OAI-SearchBot bila ingin tampil di pencarian ChatGPT. Pakai IP untuk memverifikasi bot asli, bukan sebagai satu-satunya cara memblokir. Contoh logika aturan WAF yang masuk akal: izinkan permintaan dengan user agent bot pencarian AI hanya bila IP-nya ada di daftar resmi, beri batas laju (rate limit) untuk semua bot, dan tantang atau tolak permintaan yang mengaku sebagai bot besar tetapi datang dari IP di luar daftar. Penjelasan dasar WAF ada di [apa itu WAF](https://nivelva.com/insight/apa-itu-waf), dan untuk lonjakan trafik yang mengarah ke serangan, lihat [anti-DDoS VPS](https://nivelva.com/insight/anti-ddos-vps). Keputusan akhirnya tergantung jenis situs. Toko online, jasa lokal, dan company profile umumnya diuntungkan bila tetap bisa dikutip asisten AI, jadi izinkan bot pencarian. Situs yang menjual konten berbayar, riset orisinal, atau materi kursus lebih punya alasan untuk menolak bot pelatihan dan membatasi bot lainnya. Setelah mengubah aturan, periksa dampaknya dengan cara di cek brand di ChatGPT dan Gemini. File llms.txt tidak menggantikan pengaturan ini, seperti dijelaskan di [apa itu llms.txt](https://nivelva.com/insight/apa-itu-llms-txt). ## Pertanyaan yang sering diajukan ### Apakah memblokir GPTBot membuat situsku hilang dari ChatGPT? Tidak secara langsung. GPTBot untuk pelatihan. Kemunculan di pencarian ChatGPT diatur OAI-SearchBot, yang bisa tetap kamu izinkan. ### Apakah memblokir Google-Extended berpengaruh ke peringkat Google? Tidak. Google menyatakan Google-Extended tidak memengaruhi keikutsertaan di Google Search dan bukan sinyal peringkat. ### Berapa lama perubahan robots.txt berlaku? Tergantung vendor. OpenAI menyebut sekitar 24 jam untuk OAI-SearchBot. Vendor lain tidak menyebut angka di halaman yang kami periksa. ### Apakah bot yang memalsukan user agent bisa dihentikan dengan robots.txt? Tidak. Untuk itu perlu verifikasi IP dan aturan di WAF atau server, karena robots.txt hanya dipatuhi bot yang memang mau mematuhinya. ## Sumber - - - - - - --- Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/blokir-izinkan-crawler-ai Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com