--- title: "Apa Itu Prompt Caching dan Seberapa Besar Hematnya?" description: "Prompt caching membuat bagian prompt yang sama tidak dibayar penuh setiap kali. Ini cara kerjanya, tarif resmi per November 2026, dan contoh hitungan." url: "https://nivelva.com/insight/apa-itu-prompt-caching-besar-hematnya" category: "AI \u0026 Otomasi" tags: ["prompt caching","api ai","biaya token","llm","optimasi biaya"] author: "Lucas Tan" published: "2026-11-11T12:08:00+07:00" updated: "2026-11-11T12:08:00+07:00" language: "id" publisher: "Nivelva (https://nivelva.com)" --- # Apa Itu Prompt Caching dan Seberapa Besar Hematnya? > **Jawaban singkat:** Prompt caching menyimpan awalan prompt yang sama (instruksi sistem, dokumen, daftar tool) sehingga permintaan berikutnya membaca token itu dengan tarif jauh lebih murah. Per November 2026, baca cache di Anthropic umumnya 0,1x tarif input, jadi bagian yang di-cache bisa hemat hingga sekitar 90%. Prompt caching adalah fitur API model AI yang menyimpan bagian awal prompt yang selalu sama, lalu memakainya lagi pada permintaan berikutnya dengan tarif token yang jauh lebih murah. Bagian yang di-cache biasanya instruksi sistem yang panjang, dokumen referensi, contoh jawaban, atau daftar tool untuk AI agent. Ini penting karena di banyak aplikasi AI, sebagian besar token yang kamu bayar adalah teks yang sama persis dari satu permintaan ke permintaan lain. Chatbot layanan pelanggan, misalnya, mengirim ulang instruksi dan basis pengetahuan yang sama setiap kali pelanggan bertanya. Tanpa caching, semua itu dibayar dengan tarif input penuh, berkali-kali. ## Bagaimana prompt caching bekerja? Penyedia model menyimpan hasil pemrosesan awalan (prefix) prompt. Saat permintaan baru datang dengan awalan yang identik, model tidak perlu memproses ulang bagian itu dari nol, cukup membacanya dari cache. Penghematan biaya ini diteruskan ke kamu sebagai tarif "cached input" atau "cache read" yang lebih rendah. Kata kuncinya adalah **awalan yang identik**. Dokumentasi Anthropic dan OpenAI sama-sama menyebut bahwa cache hanya terpakai bila seluruh bagian sebelum titik cache cocok persis. Satu karakter berubah di awal prompt, misalnya tanggal dan jam yang kamu sisipkan di instruksi sistem, membuat seluruh cache di belakangnya tidak terpakai. Karena itu, susunan prompt yang ramah cache adalah: - Bagian statis di depan: instruksi sistem, daftar tool, dokumen referensi, contoh. - Bagian yang berubah di belakang: pertanyaan pengguna, data per permintaan, waktu saat ini. ## Berapa tarif cache di penyedia utama? Angka berikut diambil dari dokumentasi resmi masing-masing penyedia per 11 November 2026. Tarif dan aturan bisa berubah, dan sering berbeda antar model, jadi cek lagi halaman resminya sebelum menghitung anggaran. | Penyedia | Cara aktif | Tarif baca cache | Biaya tulis cache | Umur cache | |:--|:--|:--|:--|:--| | Anthropic (Claude API) | Ditandai manual dengan cache_control | Umumnya 0,1x tarif input, beberapa model lebih rendah | 1,25x (umur 5 menit) atau 2x (umur 1 jam) | Default 5 menit, diperpanjang tiap kali terpakai | | OpenAI (GPT-5.6 ke atas) | Otomatis secara default | 0,1x tarif input, beberapa model lebih rendah | 1,25x (default 30 menit) atau 2,5x (12 jam) | Minimum 30 menit atau 12 jam | | Google Gemini | Implicit caching otomatis untuk Gemini 2.5 ke atas | Ada potongan, persentasenya tidak disebut di halaman caching | Tidak disebut di halaman caching | Tidak disebut di halaman caching | Ada juga batas minimum panjang prompt. Prompt yang terlalu pendek tidak di-cache sama sekali. Di Anthropic minimumnya antara 512 dan 4.096 token tergantung model, di OpenAI 1.024 token untuk GPT-5.6 ke atas, dan di Gemini 2.048 sampai 4.096 token untuk implicit caching. Dokumentasi Anthropic juga mencatat bahwa prompt yang terlalu pendek tidak menimbulkan error, hanya tidak di-cache, sehingga mudah tidak disadari. ## Seberapa besar hematnya? Contoh hitungan Supaya tidak bergantung pada harga model tertentu, hitungan ini memakai satuan "token setara tarif input". Misalkan sebuah chatbot punya instruksi sistem plus basis pengetahuan sebanyak 10.000 token, dan dalam lima menit ada 100 pertanyaan masuk. Tanpa cache, bagian statis itu dibayar 100 x 10.000 = 1.000.000 token setara tarif input. Dengan cache 5 menit ala Anthropic: - Permintaan pertama menulis cache: 10.000 x 1,25 = 12.500. - 99 permintaan berikutnya membaca cache: 99 x 10.000 x 0,1 = 99.000. - Total 111.500, atau sekitar 11% dari biaya tanpa cache. Artinya, untuk bagian statis itu kamu hemat sekitar 89%. Pertanyaan pengguna dan jawaban model tetap dibayar normal, jadi penghematan total tagihan tergantung seberapa besar porsi bagian statis dibanding sisanya. ## Kapan prompt caching justru tidak hemat? Caching punya biaya tulis yang lebih mahal dari input biasa. Bila awalan yang sama hanya dipakai sekali sebelum cache kedaluwarsa, kamu membayar lebih. - Dengan umur 5 menit (1,25x), cukup satu kali baca ulang untuk balik modal: 1,25 + 0,1 = 1,35, lebih murah dari 2 kali bayar penuh. - Dengan umur 1 jam (2x) di Anthropic, butuh minimal dua kali baca ulang: 2 + 0,1 + 0,1 = 2,2 dibanding 3 kali bayar penuh. - Trafik yang sepi dan jarang, misalnya satu pertanyaan per jam dengan cache 5 menit, hampir tidak mendapat manfaat. Jadi caching paling menguntungkan untuk aplikasi dengan trafik rutin dan bagian statis yang besar: chatbot dokumen, AI agent dengan banyak tool, atau pemrosesan banyak file dengan instruksi yang sama. > **Tips:** > > Periksa field pemakaian di respons API untuk memastikan cache benar-benar terpakai. Di Anthropic, lihat cache_creation_input_tokens dan cache_read_input_tokens. Kalau keduanya selalu nol, prompt kamu tidak di-cache. ## Tips agar cache sering kena 1. Taruh semua bagian statis di awal, termasuk daftar tool dan dokumen referensi. 2. Jangan sisipkan jam, ID permintaan, atau nama pengguna di instruksi sistem. Pindahkan ke pesan terakhir. 3. Jaga urutan tool dan dokumen tetap sama. Mengurutkan ulang daftar membuat awalan berubah. 4. Untuk percakapan panjang, riwayat chat juga bisa ikut di-cache karena bagian lama tidak berubah. 5. Pantau rasio token cache dibanding token input biasa setiap minggu, terutama setelah mengubah prompt. Caching hanya salah satu cara menekan biaya. Cara lain, seperti memilih model yang lebih kecil untuk tugas ringan dan membatasi panjang jawaban, ada di [cara menghemat biaya token API](https://nivelva.com/insight/menghemat-biaya-token-api). Kalau kamu belum akrab dengan konsep token, mulai dari [apa itu token AI](https://nivelva.com/insight/apa-itu-token-ai-chat-punya-batas-panjang), lalu bandingkan tarif dasarnya di [perbandingan harga API model AI](https://nivelva.com/insight/perbandingan-harga-api-model-ai). ## Pertanyaan yang sering diajukan ### Apakah prompt caching mengubah kualitas jawaban AI? Tidak. Cache hanya menyimpan hasil pemrosesan awalan prompt. Model tetap menerima prompt yang sama, jadi jawabannya tidak terpengaruh oleh ada atau tidaknya cache. ### Apakah data saya disimpan lebih lama karena caching? Cache punya umur terbatas sesuai pengaturan, misalnya beberapa menit sampai jam. Untuk detail retensi dan privasi, baca dokumentasi penyedia yang kamu pakai karena kebijakannya berbeda. ### Apakah caching berlaku di aplikasi chat seperti ChatGPT atau Claude.ai? Prompt caching yang dibahas di sini adalah fitur API dengan tarif per token. Di aplikasi chat berlangganan, kamu tidak membayar per token, jadi hitungan ini tidak berlaku langsung. ## Sumber - - - --- Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/apa-itu-prompt-caching-besar-hematnya Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com