Apa Itu Context Window dan Kenapa Penting?

Context window adalah jumlah maksimal teks yang bisa dipegang model AI dalam satu kali kerja, dihitung dalam satuan token.

Kenapa ini penting? Karena hampir semua keluhan "AI-nya lupa" berawal dari sini. Kamu mengunggah kontrak 80 halaman, bertanya soal pasal di bagian akhir, lalu jawabannya meleset. Atau percakapan panjang yang awalnya rapi tiba-tiba mengabaikan instruksi yang kamu berikan di pesan pertama. Begitu kamu paham cara kerja context window, kamu bisa mengatur file dan percakapan supaya hasilnya lebih bisa diandalkan.

Apa itu token?

Model bahasa tidak membaca huruf per huruf atau kata per kata. Teks dipecah dulu menjadi token, yaitu potongan kecil yang bisa berupa satu kata utuh, sebagian kata, tanda baca, atau spasi. Kata yang umum biasanya menjadi satu token, sedangkan kata panjang atau jarang dipakai bisa dipecah menjadi beberapa token.

Jumlah token untuk teks yang sama bisa berbeda antarmodel, karena setiap penyedia memakai tokenizer sendiri. Bahasa juga berpengaruh: teks di luar bahasa Inggris bisa dipecah menjadi lebih banyak token. Karena itu, perkiraan "sekian kata per sekian token" hanya gambaran kasar dan sebaiknya tidak dipakai sebagai patokan pasti untuk teks berbahasa Indonesia. Bila butuh angka pasti, sebagian penyedia API menyediakan alat penghitung token.

Semua yang ikut dihitung di context window

Banyak orang mengira context window hanya menampung pertanyaan terakhir. Kenyataannya, semua yang dikirim ke model ikut dihitung. Dokumentasi Anthropic merinci isinya seperti ini:

• instruksi sistem (aturan dasar yang diberikan aplikasi ke model)
• seluruh riwayat percakapan, baik pesanmu maupun jawaban model
• file, gambar, dan dokumen yang kamu lampirkan
• hasil dari alat yang dipanggil model, misalnya hasil pencarian web
• jawaban yang sedang ditulis model, termasuk proses "berpikir" pada model reasoning

Artinya, percakapan panjang memakan ruang sedikit demi sedikit. Setiap balasan model ikut menjadi bahan bacaan pada giliran berikutnya. Kalau kamu memakai model yang berpikir dulu sebelum menjawab, token pemikiran itu juga ikut dihitung. Bedanya model cepat dan model reasoning dibahas di model reasoning.

Berapa besar context window model AI saat ini?

Berikut angka dari dokumentasi resmi masing-masing penyedia, per 4 November 2026. Angka ini berlaku untuk pemakaian lewat API.

Model lama atau model yang lebih kecil bisa punya batas jauh lebih rendah. Anthropic, contohnya, menulis bahwa sebagian model lamanya hanya punya context window 200 ribu token.

Di aplikasi chat, batas yang kamu rasakan bisa berbeda dari angka API. Anthropic menyebut antarmuka chat seperti claude.ai dapat mengelola konteks secara bergulir, yaitu bagian paling lama dikeluarkan lebih dulu. Paket langganan juga bisa memengaruhi model mana yang tersedia. Perbandingan paketnya ada di harga langganan AI.

Kenapa AI bisa "lupa" walaupun context window-nya besar?

Ada dua penyebab yang sering tertukar.

Pertama, batasnya memang terlampaui. Kalau input melebihi context window, ada beberapa kemungkinan, tergantung aplikasinya. Lewat API, permintaan bisa ditolak dengan pesan bahwa prompt terlalu panjang. Di aplikasi chat, bagian lama percakapan bisa dibuang atau diringkas diam-diam. Sebagian aplikasi juga hanya mengambil potongan dokumen yang dianggap relevan, bukan seluruh isinya.

Kedua, konteksnya masih muat, tapi terlalu panjang untuk dibaca teliti. Anthropic menyebut gejala ini context rot: semakin banyak token, ketepatan dan kemampuan mengingat detail cenderung menurun. Jadi context window 1 juta token bukan jaminan model akan memperhatikan setiap kalimat dengan sama baiknya.

Tips bekerja dengan file panjang

Beberapa kebiasaan sederhana ini membantu, baik di ChatGPT, Claude, Gemini, maupun antarmuka chat yang kamu pasang sendiri.

1. Pecah tugas, bukan hanya file. Daripada bertanya "ringkas dan analisis semuanya", minta ringkasan per bab dulu, lalu analisis dari ringkasan itu.
2. Taruh instruksi penting di dekat pertanyaan. Kalau percakapan sudah panjang, ulangi aturan utama (format, bahasa, batasan) di pesan terbaru.
3. Mulai percakapan baru untuk topik baru. Riwayat lama yang tidak relevan tetap memakan ruang dan bisa mengganggu fokus model.
4. Minta kutipan dan nomor halaman. Dengan begitu kamu bisa mengecek apakah jawaban benar-benar diambil dari dokumen.
5. Bersihkan file sebelum diunggah. Hapus lampiran, tabel berulang, atau halaman kosong yang tidak dibutuhkan. PDF hasil scan juga lebih baik diubah dulu menjadi teks yang bisa dibaca.
6. Uji dengan pertanyaan yang jawabannya kamu tahu. Tanyakan satu detail dari bagian tengah dokumen. Kalau meleset, kecilkan potongan yang kamu kirim.

Cara menyusun instruksi yang jelas dibahas lebih rinci di cara menulis prompt AI.

Kapan sebaiknya pakai RAG, bukan context window besar?

Kalau kamu hanya sesekali membaca satu atau dua dokumen panjang, context window besar sudah cukup. Lain cerita kalau timmu perlu bertanya berulang kali ke ratusan dokumen internal, misalnya SOP, katalog produk, atau arsip kontrak.

Untuk kebutuhan seperti itu, pendekatan yang umum adalah RAG (retrieval-augmented generation). Sistem mencari potongan dokumen yang paling relevan, lalu hanya potongan itu yang dimasukkan ke konteks. Biayanya lebih terkendali karena token yang dikirim lebih sedikit, dan jawabannya lebih mudah ditelusuri ke sumber. Cara kerjanya dijelaskan di chatbot AI dari dokumen perusahaan.

Ada juga hubungan langsung dengan biaya. Lewat API, kamu membayar per token input dan output. Mengirim seluruh dokumen setiap kali bertanya berarti membayar token yang sama berulang-ulang, walaupun sebagian penyedia menawarkan prompt caching yang membuat token berulang lebih murah.

Context window besar memudahkan kerja dengan dokumen panjang, tetapi hasil yang lebih bisa diandalkan biasanya datang dari konteks yang ringkas dan relevan. Anggap angka 1 juta token sebagai batas atas, bukan target yang harus diisi penuh.