--- title: "robots.txt untuk Crawler AI: GPTBot, ClaudeBot, dan Lainnya" description: "Daftar user-agent crawler AI dari OpenAI, Anthropic, Google, Apple, Meta, Perplexity, dan Common Crawl, plus contoh aturan robots.txt yang benar." url: "https://nivelva.com/insight/robots-txt-crawler-ai" category: "Keamanan/Cyber Security" tags: ["robots.txt","gptbot","claudebot","crawler ai","google-extended"] author: "Theresia Candiawan" published: "2026-11-07T05:11:00+07:00" updated: "2026-11-07T05:11:00+07:00" language: "id" publisher: "Nivelva (https://nivelva.com)" --- # robots.txt untuk Crawler AI: GPTBot, ClaudeBot, dan Lainnya > **Jawaban singkat:** Tiap penyedia AI memisahkan crawler pelatihan (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent) dari bot pencarian dan bot atas permintaan pengguna. Blokir yang pelatihan lewat robots.txt bila perlu, tapi ingat robots.txt bersifat sukarela. **robots.txt** adalah file teks di akar domain (misalnya `contoh.co.id/robots.txt`) yang memberi tahu crawler bagian mana yang boleh dan tidak boleh diambil. Formatnya dibakukan dalam RFC 9309. Untuk crawler AI, file ini kini menjadi tempat utama pemilik website menyatakan apakah kontennya boleh dipakai melatih model, boleh muncul di jawaban asisten AI, atau dua-duanya. Salah menulis aturan bisa berakibat dua arah. Terlalu ketat, websitemu hilang dari fitur pencarian ChatGPT atau asisten lain yang mulai jadi sumber kunjungan. Terlalu longgar, kontenmu bebas dikumpulkan untuk pelatihan tanpa kamu sadari. Kuncinya: satu perusahaan AI biasanya punya beberapa bot dengan fungsi berbeda, dan masing-masing diatur terpisah. ## Siapa saja crawler AI yang perlu kamu kenal? Semua informasi di bawah diambil dari halaman resmi masing-masing penyedia, per 4 November 2026. ### OpenAI OpenAI memisahkan tiga bot utama. **GPTBot** mengumpulkan konten yang mungkin dipakai melatih model generatif; melarangnya berarti kontenmu tidak dipakai untuk pelatihan. **OAI-SearchBot** dipakai untuk fitur pencarian ChatGPT. **ChatGPT-User** mengunjungi halaman ketika pengguna bertanya, dan menurut OpenAI, karena dipicu pengguna, aturan robots.txt mungkin tidak berlaku untuknya. OpenAI menegaskan setiap pengaturan berdiri sendiri. Kamu bisa mengizinkan OAI-SearchBot sambil melarang GPTBot. Perubahan untuk pencarian bisa butuh sekitar 24 jam. ### Anthropic **ClaudeBot** mengumpulkan konten yang berpotensi dipakai untuk pelatihan. **Claude-SearchBot** menelusuri web untuk meningkatkan kualitas hasil pencarian. **Claude-User** mengakses website ketika pengguna Claude bertanya. Anthropic menyatakan bot-botnya menghormati robots.txt dan mendukung ekstensi `Crawl-delay`. Anthropic juga tidak menganjurkan blokir IP sebagai cara opt-out. ### Google **Google-Extended** bukan crawler terpisah, melainkan token kendali di robots.txt. Ia mengatur apakah konten yang dirayapi Google boleh dipakai melatih model Gemini generasi berikutnya dan untuk grounding. Google menyatakan Google-Extended tidak memengaruhi keikutsertaan website di Google Search dan bukan sinyal peringkat. Perayapan tetap memakai user agent Google yang biasa. ### Apple, Meta, Perplexity, dan Common Crawl - **Applebot-Extended** (Apple) mengatur pemakaian data untuk melatih model generatif Apple. Menurut Apple, ia tidak merayapi halaman, dan halaman yang melarangnya tetap bisa muncul di hasil pencarian. - **meta-externalagent** (Meta) merayap untuk keperluan seperti melatih model AI, dan menurut Meta menghormati robots.txt. **meta-externalfetcher** mengambil tautan atas permintaan pengguna dan bisa melewati robots.txt. - **PerplexityBot** dipakai untuk hasil pencarian Perplexity, dan menurut Perplexity bukan untuk melatih model dasar. **Perplexity-User** mengambil halaman atas permintaan pengguna dan umumnya mengabaikan robots.txt. - **CCBot** adalah crawler Common Crawl, yang datanya terbuka untuk umum. Common Crawl memberi contoh blokir lewat robots.txt dan mengingatkan ada crawler yang memalsukan diri sebagai CCBot. ## Tabel user-agent crawler AI | Token robots.txt | Pemilik | Fungsi utama | Patuh robots.txt? | |:--|:--|:--|:--| | GPTBot | OpenAI | Data pelatihan | Ya | | OAI-SearchBot | OpenAI | Pencarian ChatGPT | Ya | | ChatGPT-User | OpenAI | Atas permintaan pengguna | Mungkin tidak | | ClaudeBot | Anthropic | Data pelatihan | Ya | | Claude-SearchBot | Anthropic | Kualitas pencarian | Ya | | Claude-User | Anthropic | Atas permintaan pengguna | Ya, menurut Anthropic | | Google-Extended | Google | Token kendali pelatihan Gemini | Ya (token kendali) | | Applebot-Extended | Apple | Token kendali pelatihan Apple | Ya (token kendali) | | meta-externalagent | Meta | Pelatihan dan pengindeksan | Ya | | PerplexityBot | Perplexity | Pencarian | Ya | | Perplexity-User | Perplexity | Atas permintaan pengguna | Umumnya tidak | | CCBot | Common Crawl | Arsip web terbuka | Contoh blokir disediakan | ## Contoh aturan robots.txt Aturan robots.txt dibaca per grup `User-agent`. Contoh berikut melarang crawler pelatihan, tapi tetap mengizinkan bot pencarian AI dan mesin pencari biasa: ```text User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot Disallow: / User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://contoh.co.id/sitemap.xml ``` RFC 9309 membolehkan beberapa baris `User-agent` berurutan dalam satu grup, jadi kamu tidak perlu menulis `Disallow: /` berulang. Kalau hanya ingin menutup sebagian, ganti `/` dengan path tertentu, misalnya `/harga-grosir/`. Ingin semua AI menjauh, termasuk fitur pencarian? Tambahkan OAI-SearchBot, Claude-SearchBot, dan PerplexityBot ke grup pertama. Ingin memperlambat saja? Anthropic menyebut dukungan `Crawl-delay`, misalnya `Crawl-delay: 1` di grup ClaudeBot, tapi tidak semua crawler mendukung ekstensi ini. > **robots.txt itu permintaan, bukan gembok:** > > RFC 9309 sendiri menyebut aturan robots.txt bukan bentuk otorisasi akses. Crawler yang patuh akan mengikutinya, crawler nakal bisa mengabaikannya, dan bot atas permintaan pengguna menurut beberapa penyedia memang tidak selalu terikat. Jangan menyimpan data rahasia di path yang hanya "dilindungi" robots.txt; daftar Disallow justru memberi tahu orang path mana yang menarik. ## Kapan cukup robots.txt, kapan perlu blokir di server? robots.txt cukup bila tujuanmu menyatakan preferensi kepada penyedia besar yang mempublikasikan kepatuhannya, misalnya agar konten tidak dipakai untuk pelatihan. Biayanya nol dan risiko salah blokir rendah, karena mesin pencari biasa tidak terpengaruh. Naik ke blokir di server bila log menunjukkan request berat dari User-Agent yang mengaku crawler tapi tidak mengikuti robots.txt, atau dari bot tanpa identitas jelas yang menghabiskan CPU. Pilihannya mulai dari aturan User-Agent di Nginx, [rate limiting di Nginx](https://nivelva.com/insight/rate-limiting-nginx), sampai penyaring bot seperti Anubis yang dibahas di [cara pasang Anubis di depan Nginx](https://nivelva.com/insight/pasang-anubis-nginx-docker). Untuk website di belakang Cloudflare, ada juga pengaturan akses crawler AI di dasbor Cloudflare. Satu catatan penting: blokir berdasarkan User-Agent saja mudah ditipu, dan blokir berdasarkan User-Agent yang dipalsukan bisa salah sasaran. Karena itu beberapa penyedia memberi cara verifikasi: Common Crawl menjalankan CCBot dari rentang IP khusus dengan reverse DNS, Google menyediakan panduan verifikasi crawler-nya, dan Anthropic menerbitkan daftar IP bot-botnya. ## Bagaimana dengan website WordPress? Kalau websitemu memakai WordPress, robots.txt bisa dibuat sebagai file fisik di folder akar, yang akan didahulukan daripada robots.txt virtual bawaan WordPress. Dasar pengamanan lainnya ada di [keamanan WordPress dasar](https://nivelva.com/insight/keamanan-wordpress-dasar). ## Pertanyaan yang sering diajukan ### Apakah melarang GPTBot membuat website hilang dari ChatGPT? Tidak otomatis. OpenAI memisahkan GPTBot (pelatihan) dari OAI-SearchBot (pencarian ChatGPT). Melarang GPTBot saja tidak mengeluarkan websitemu dari hasil pencarian ChatGPT selama OAI-SearchBot diizinkan. ### Apakah memblokir Google-Extended menurunkan peringkat di Google? Menurut Google, Google-Extended tidak memengaruhi keikutsertaan di Google Search dan bukan sinyal peringkat. ### Berapa lama perubahan robots.txt berlaku? Tergantung crawler. OpenAI menyebut sekitar 24 jam untuk pencarian, Meta dan Perplexity menyebut hingga 24 jam karena robots.txt di-cache. ### Apakah ada satu baris untuk memblokir semua AI? Tidak ada token resmi yang mencakup semua penyedia AI. Kamu perlu menyebut token tiap penyedia, dan memperbarui daftarnya sesekali karena penyedia bisa menambah bot baru. ## Sumber - - - - - - - - --- Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/robots-txt-crawler-ai Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com