Anubis vs Cloudflare Bot Fight Mode: Mana yang Cocok?

Server kamu mulai berat karena scraper, dan kamu bingung harus menyalakan satu sakelar di Cloudflare atau memasang Anubis sendiri? Jawaban singkatnya: kalau domain sudah lewat proxy Cloudflare dan websitemu tidak punya API atau aplikasi mobile yang sensitif, Bot Fight Mode adalah langkah pertama yang paling murah tenaga. Kalau trafik harus tetap di servermu, atau kamu perlu mengecualikan path tertentu, Anubis memberi kendali yang tidak dimiliki Bot Fight Mode.

Keduanya sama-sama membuat bot "membayar" dengan kerja komputasi, tapi letak dan cara mengaturnya sangat berbeda. Pengembang Anubis sendiri menulis di README proyeknya bahwa dalam banyak kasus kamu mungkin cukup memakai Cloudflare, dan Anubis hadir untuk situasi ketika kamu tidak bisa atau tidak mau memakai Cloudflare. Jadi pertanyaannya bukan mana yang lebih hebat, melainkan mana yang cocok dengan kondisimu.

Di mana masing-masing bekerja?

Bot Fight Mode di Cloudflare

Menurut dokumentasi Cloudflare, Bot Fight Mode adalah fitur gratis yang mencocokkan trafik dengan pola bot yang dikenal, lalu memberi tantangan yang mahal secara komputasi kepada klien otomatis. Ia melindungi seluruh domain sekaligus. Fitur ini hanya bekerja untuk trafik yang melewati proxy Cloudflare, karena pemeriksaannya terjadi di jaringan Cloudflare sebelum request sampai ke servermu.

Selain itu, Cloudflare punya pengaturan terpisah bernama AI Crawler and Agent access policies. Di sini kamu memilih aksi per perilaku bot AI: Search (mengindeks untuk menjawab pertanyaan), Agent (mengambil halaman atas permintaan pengguna), dan Training (mengumpulkan data pelatihan model). Menurut dokumentasinya, domain baru bawaannya Allow untuk ketiganya.

Anubis di server sendiri

Anubis adalah perangkat lunak open-source dari Techaro berlisensi MIT. Ia dipasang di antara reverse proxy (misalnya Nginx) dan aplikasimu. Setiap request dicocokkan dengan file kebijakan YAML berdasarkan path, User-Agent, header, atau IP, lalu diberi aksi ALLOW, DENY, CHALLENGE, atau WEIGH. Pengunjung yang lolos tantangan mendapat cookie sehingga tidak ditantang terus.

Panduan pemasangannya ada di cara pasang Anubis di depan Nginx dengan Docker.

Butuh pengecualian untuk API atau webhook?

Ini titik pembeda paling penting. Dokumentasi Cloudflare menyebut Bot Fight Mode tidak bisa dilewati memakai WAF custom rules maupun Page Rules. Satu-satunya celah yang disebut adalah IP Access rules: bila aturan itu cocok lebih dulu, Bot Fight Mode tidak terpicu. Dokumentasi yang sama mengingatkan bahwa fitur ini bisa menantang trafik API atau aplikasi mobile.

Tanyakan pada dirimu: apakah ada aplikasi Android yang memanggil API di domain yang sama? Webhook dari payment gateway? Integrasi dengan sistem mitra? Kalau ada, Bot Fight Mode berisiko mengganggu. Mengizinkan IP mitra lewat IP Access rules bisa membantu bila alamatnya tetap, tapi tidak untuk aplikasi mobile yang dipakai pelanggan dari mana saja. Untuk kebutuhan itu, Cloudflare menyebut Super Bot Fight Mode di paket berbayar, yang berjalan di Ruleset Engine dan mendukung aturan Skip.

Di Anubis, pengecualian cukup satu aturan ALLOW untuk path seperti /api/ atau rentang IP mitra. Fleksibel, tapi kamu yang harus ingat menulisnya.

Trafik boleh lewat pihak ketiga atau tidak?

Dengan Cloudflare sebagai proxy, koneksi HTTPS pengunjung dibuka di jaringan Cloudflare lalu diteruskan ke servermu. Bagi banyak bisnis ini wajar dan sudah menjadi bagian dari pemakaian CDN, seperti dibahas di apa itu CDN. Namun ada organisasi yang punya kebijakan internal agar trafik tidak melewati pihak ketiga.

Anubis berjalan seluruhnya di servermu. Tidak ada data pengunjung yang dikirim ke layanan luar untuk keputusan dasar. Imbalannya, kamu tidak mendapat data reputasi bot dari jaringan besar; Anubis hanya tahu apa yang ada di file kebijakan dan daftar bawaannya.

Siapa yang mengatur daftar izin bot baik?

Kedua alat bisa menahan pengunjung yang sebenarnya sah. Bedanya ada pada siapa yang mengendalikan daftar izinnya.

Di Cloudflare, kategori bot terverifikasi dikelola Cloudflare. Menurut dokumentasi AI Crawler and Agent access policies, kebijakan per perilaku berlaku untuk bot terverifikasi dengan perilaku tersebut dan bot tidak terverifikasi yang cocok. Artinya, memblokir kategori Search juga berlaku bagi crawler AI pencarian yang terverifikasi, jadi pilih dengan sadar.

Di Anubis, file kebijakan bawaan mengimpor daftar crawler mesin pencari yang diizinkan, termasuk Googlebot yang dicocokkan dengan rentang IP resmi. README Anubis terus terang menyebut alat ini "a bit of a nuclear response" yang bisa menghalangi scraper kecil dan sebagian bot baik seperti Internet Archive bila tidak ada di daftar izin. Bila kebijakannya keliru, misalnya header IP asli tidak diteruskan, Googlebot bisa ikut tertahan.

Apa pun pilihanmu, pantau laporan perayapan di Google Search Console selama minggu pertama.

Biaya dan tenaga perawatan

Bot Fight Mode gratis dan dinyalakan dari dasbor: Security Settings, saring Bot traffic, lalu aktifkan Bot fight mode. Tidak ada server yang perlu dirawat.

Anubis juga gratis sebagai perangkat lunak, tapi berjalan di servermu sendiri. Kebutuhan sumber dayanya kecil menurut dokumentasinya, namun tetap ada pekerjaan: memperbarui versi, menyunting kebijakan, membaca log, dan memastikan backend tidak bisa diakses langsung. Untuk tim tanpa admin server, beban ini nyata.

Kedua alat juga bisa dipakai bersamaan. Misalnya, Cloudflare di depan untuk CDN dan aturan WAF, Anubis di server untuk menyaring scraper yang tetap lolos. Dalam susunan ini, pastikan Anubis membaca IP pengunjung asli dari header yang dikirim Cloudflare, bukan IP Cloudflare.

Ringkasan perbandingan

Untuk lapisan berikutnya, aturan WAF gratis di Cloudflare dibahas di aturan WAF Cloudflare gratis, sedangkan konfigurasi Anubis dibahas langkah demi langkah di panduan pemasangannya.

Checklist sebelum memilih:

• Domain sudah di-proxy Cloudflare atau belum?
• Ada API, aplikasi mobile, atau webhook di domain yang sama?
• Ada kebijakan agar trafik tidak melewati pihak ketiga?
• Siapa yang akan merawat server dan kebijakan Anubis?
• Sudah siap memantau Search Console di minggu pertama?