noindex atau robots.txt, Mana untuk Menyembunyikan Halaman?

noindex adalah perintah di halaman (lewat tag meta atau header HTTP) yang meminta mesin pencari tidak memasukkan halaman itu ke indeks. robots.txt adalah file di akar domain yang memberi tahu crawler bagian mana yang tidak boleh dirayapi. Sekilas mirip, tapi yang satu mengatur pengindeksan, yang lain mengatur perayapan.

Salah pilih bisa membuat hasilnya terbalik dari harapan. Halaman yang ingin kamu sembunyikan malah tetap tampil di Google, sementara halaman penting tidak sengaja terblokir. Dan kesalahan paling umum justru memakai keduanya sekaligus.

Apa bedanya noindex dan robots.txt?

Cara kerja robots.txt

robots.txt dibaca crawler sebelum merayapi URL. Kalau sebuah path diblokir dengan Disallow, Googlebot tidak akan membuka halamannya. Masalahnya, diblokir dari perayapan tidak sama dengan diblokir dari hasil pencarian. Dokumentasi Google menyebut URL yang diblokir robots.txt masih bisa diindeks bila ada halaman lain yang menautkannya. Hasilnya, URL itu bisa tampil di Google tanpa deskripsi, karena Google tidak pernah membaca isinya.

Fungsi utama robots.txt adalah mengatur lalu lintas crawler: mencegah server kebanjiran permintaan, atau menghindari perayapan URL yang tidak berguna seperti kombinasi filter dan hasil pencarian internal.

Cara kerja noindex

noindex dibaca saat Google merayapi halaman. Bentuknya bisa tag meta di bagian <head>:

<meta name="robots" content="noindex">

Atau header HTTP X-Robots-Tag, yang berguna untuk file non-HTML seperti PDF dan gambar. Contoh di Apache lewat .htaccess:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex"
</Files>

Begitu Google merayapi halaman dan menemukan noindex, halaman itu dikeluarkan dari hasil pencarian, meskipun ada website lain yang menautkannya.

Ada dua variasi penulisan. name="robots" berlaku untuk semua mesin pencari yang mendukungnya, sedangkan name="googlebot" hanya berlaku untuk crawler Google. Mesin pencari lain bisa menafsirkan aturan ini sedikit berbeda, jadi jangan heran bila sebuah halaman sudah hilang dari Google tapi masih terlihat di mesin pencari lain untuk sementara.

Di WordPress, kamu jarang perlu menulis tag ini sendiri. Plugin SEO populer menyediakan pilihan per halaman untuk mengatur agar halaman tidak tampil di hasil pencarian, dan pilihan massal untuk arsip tag, arsip penulis, atau jenis konten tertentu. Pilihan itu pada akhirnya menambahkan tag meta robots yang sama ke kode halaman.

Tabel perbandingan

Kapan memilih noindex, kapan robots.txt?

Pilih noindex saat tujuannya agar halaman tidak muncul di hasil pencarian, tapi halaman tetap boleh dibuka pengunjung. Contohnya halaman terima kasih setelah checkout, halaman login, halaman tag blog yang tipis, hasil pencarian internal, atau halaman promo yang sudah selesai tapi masih ingin kamu simpan. noindex juga cara yang tepat untuk mengeluarkan halaman yang terlanjur terindeks. Pastikan halaman itu tidak diblokir robots.txt sampai Google sempat merayapinya ulang.

Pilih robots.txt saat tujuannya mengatur beban dan fokus perayapan. Misalnya toko online dengan filter produk yang menghasilkan ribuan URL, folder skrip internal, atau area yang memang tidak perlu dikunjungi crawler. Ini lebih relevan untuk website besar. Hubungannya dengan anggaran perayapan dibahas di artikel apa itu crawl budget. Untuk aturan penulisan file dan sitemap, lihat panduan sitemap XML dan robots.txt. robots.txt juga dipakai untuk mengatur crawler AI, yang dibahas di artikel robots.txt untuk crawler AI.

Kalau isi halaman benar-benar rahasia, misalnya data pelanggan, dokumen internal, atau versi staging website, jangan andalkan keduanya. robots.txt adalah file publik, jadi menuliskan path rahasia di sana justru memberi tahu siapa pun di mana letaknya. noindex hanya meminta mesin pencari tidak menampilkan halaman, tapi tidak mencegah orang membukanya. Gunakan password, pembatasan IP, atau login.

Bagaimana memeriksa hasilnya?

Gunakan Inspeksi URL di Search Console. Alat ini menunjukkan apakah perayapan diizinkan oleh robots.txt dan apakah pengindeksan diizinkan, termasuk bila ada noindex yang terdeteksi.

Untuk memeriksa header dari terminal:

curl -sI https://contoh.com/dokumen.pdf | grep -i x-robots-tag

Di laporan Pengindeksan > Halaman, halaman dengan noindex akan muncul dengan alasan "Dikecualikan oleh tag 'noindex'". Kalau ada halaman penting di daftar itu, berarti noindex terpasang tanpa sengaja, misalnya dari pengaturan "Minta mesin pencari tidak mengindeks situs ini" di WordPress yang lupa dimatikan setelah website diluncurkan.

Kalau kamu butuh halaman hilang lebih cepat dari hasil pencarian sambil menunggu perayapan ulang, Search Console punya alat Penghapusan untuk menyembunyikan URL sementara. Sifatnya sementara, jadi tetap pasang noindex atau hapus halamannya. Tanpa langkah permanen itu, halaman bisa kembali muncul setelah masa penghapusan berakhir.