Cara Benar Mengatur Sitemap XML dan robots.txt

Website baru selesai dipindahkan ke hosting baru. Semua halaman bisa dibuka, formulir berjalan, pemilik lega. Dua minggu kemudian, kunjungan dari Google turun drastis. Setelah ditelusuri, penyebabnya satu baris di robots.txt yang terbawa dari server staging: Disallow: /. Satu baris itu meminta semua mesin pencari berhenti merayap seluruh situs.

Kejadian semacam ini sering terjadi karena sitemap dan robots.txt adalah dua file kecil yang jarang dibuka, padahal pengaruhnya besar. Keduanya tidak menaikkan peringkat secara langsung, tapi kesalahan pada keduanya bisa membuat halaman terbaik pun tidak pernah ditemukan.

Dua file, dua tugas berbeda

Sitemap XML adalah daftar URL yang ingin kamu tunjukkan kepada mesin pencari. Ia semacam peta: "ini halaman-halaman penting di situsku, dan ini kapan terakhir diperbarui". Sitemap tidak memaksa Google mengindeks apa pun, tapi membantu Google menemukan halaman lebih cepat, terutama halaman baru atau halaman yang tautan internalnya sedikit.

Robots.txt adalah file teks di akar domain (domainmu.com/robots.txt) yang berisi aturan perayapan. Isinya memberi tahu bot bagian mana yang boleh dan tidak boleh dirayapi. Bot yang patuh, seperti Googlebot, membaca file ini sebelum merayap.

Kesalahan yang paling sering memblokir pengindeksan

Kesalahan pertama sudah diceritakan di atas: aturan Disallow: / yang terbawa dari situs pengembangan. Di WordPress, versi lainnya adalah centang "Halangi mesin pencari untuk mengindeks situs ini" di Pengaturan, Membaca, yang lupa dimatikan setelah situs diluncurkan. Pengaturan itu menambahkan noindex dan membuat situs tidak masuk Google.

Kesalahan kedua adalah memakai robots.txt untuk menyembunyikan halaman. Banyak orang mengira Disallow akan menghapus halaman dari hasil pencarian. Kenyataannya, robots.txt hanya melarang perayapan. Bila ada tautan ke halaman itu dari tempat lain, URL-nya masih bisa muncul di Google, hanya tanpa deskripsi. Lebih parah lagi, karena Google tidak boleh merayap, ia juga tidak bisa membaca tag noindex di halaman itu. Untuk mengeluarkan halaman dari indeks, izinkan perayapan dan pasang noindex.

Kesalahan ketiga adalah memblokir file CSS dan JavaScript. Google merender halaman seperti browser. Bila folder tema atau skrip diblokir, Google bisa melihat halaman sebagai teks berantakan tanpa tata letak, dan menilai halaman tidak ramah seluler.

Kesalahan keempat ada di sitemap: memuat URL yang dialihkan, URL yang mengembalikan 404, URL dengan noindex, atau versi http padahal situs sudah https. Sitemap yang penuh URL bermasalah memberi sinyal campur aduk. Isi sitemap sebaiknya hanya URL kanonis yang mengembalikan kode 200 dan memang ingin diindeks. Bila halamanmu sudah muncul di laporan tidak terindeks, panduan diagnosisnya ada di halaman tidak terindeks Google.

Contoh robots.txt untuk situs bisnis kecil

Untuk website company profile atau toko kecil, robots.txt tidak perlu rumit. Contoh yang aman untuk situs WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.domainmu.com/sitemap_index.xml

Aturan ini menutup area admin, tetap membuka admin-ajax.php yang dipakai sebagian tema dan plugin untuk fitur di halaman depan, dan memberi tahu letak sitemap. Ganti alamat sitemap sesuai yang dibuat situsmu.

Untuk toko online, kamu mungkin ingin menutup halaman yang tidak berguna di hasil pencarian, seperti keranjang dan hasil pencarian internal:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /keranjang/
Disallow: /checkout/
Disallow: /?s=

Sitemap: https://www.domainmu.com/sitemap_index.xml

Sesuaikan path dengan struktur situsmu, karena nama halaman keranjang dan checkout berbeda-beda. Setelah mengubah robots.txt, buka laporan robots.txt di pengaturan Search Console untuk memastikan Google membaca versi terbaru tanpa error.

Robots.txt juga tempat mengatur bot AI. OpenAI, misalnya, memisahkan bot untuk pencarian (OAI-SearchBot) dan bot untuk pelatihan model (GPTBot), sehingga kamu bisa mengizinkan yang satu dan menolak yang lain. Rinciannya ada di panduan AI search.

Bagaimana membuat dan mengirim sitemap?

Sejak versi 5.5, WordPress membuat sitemap bawaan di /wp-sitemap.xml. Plugin SEO populer biasanya mengganti sitemap bawaan itu dengan versinya sendiri, sering di /sitemap_index.xml, dan memberi pilihan jenis konten yang dimasukkan. Cek mana yang aktif di situsmu dengan membuka kedua alamat itu; pakai satu saja agar tidak membingungkan.

Untuk situs HTML statis, sitemap bisa ditulis manual atau dibuat oleh generator. Bentuk dasarnya seperti ini:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.domainmu.com/</loc>
    <lastmod>2026-11-01</lastmod>
  </url>
  <url>
    <loc>https://www.domainmu.com/layanan/</loc>
    <lastmod>2026-10-20</lastmod>
  </url>
</urlset>

Isi lastmod dengan tanggal perubahan yang sebenarnya, bukan tanggal hari ini untuk semua URL. Google menyatakan memakai lastmod bila nilainya konsisten akurat, dan mengabaikan nilai priority serta changefreq.

Untuk mengirimnya, buka Search Console, pilih menu Sitemap, ketik alamat sitemap, lalu kirim. Status "Berhasil" berarti Google bisa membaca file itu. Jumlah URL yang ditemukan di sana tidak sama dengan jumlah yang diindeks; untuk itu lihat laporan Halaman. Langkah lengkap memakai Search Console ada di Google Search Console untuk pemula.

Sitemap bukan pengganti tautan internal

Sitemap membantu penemuan, tapi Google tetap menilai pentingnya halaman dari cara halaman itu ditautkan di dalam situs. Halaman yang hanya ada di sitemap tanpa satu pun tautan dari halaman lain sering berakhir dengan status ditemukan tapi tidak diindeks. Pastikan halaman penting juga bisa dicapai dari menu, kategori, atau artikel terkait. Polanya dibahas di internal linking.

Ringkasnya

Sitemap menunjukkan halaman yang ingin kamu tampilkan, robots.txt mengatur di mana bot boleh merayap, dan noindex (yang harus bisa dirayapi agar terbaca) adalah cara yang tepat untuk mengeluarkan halaman yang masih ada dari indeks. Setiap kali situs pindah server, ganti tema, atau selesai dikembangkan, buka kedua file itu dan pastikan tidak ada aturan yang tertinggal.