Apa Itu Kuantisasi Model AI seperti Q4 dan Q8?

Kuantisasi adalah proses menyimpan bobot model AI dengan angka berpresisi lebih rendah supaya ukurannya mengecil. Model aslinya biasanya disimpan dalam format 16-bit. Versi Q8 memakai sekitar 8 bit per bobot, Q4 sekitar 4 sampai 5 bit. Hasilnya, model yang tadinya butuh belasan gigabyte memori bisa muat di laptop atau server kecil.

Yang dipertaruhkan bila salah pilih: kuantisasi terlalu tinggi membuat model tidak muat di memori atau berjalan sangat lambat karena harus memakai swap, sedangkan kuantisasi terlalu rendah membuat jawaban mulai ngawur, salah hitung, atau tidak patuh instruksi. Memilih tingkat yang pas adalah soal menyeimbangkan memori yang tersedia dengan kualitas yang kamu butuhkan.

Bagaimana kuantisasi bekerja?

Setiap model terdiri dari miliaran bobot, yaitu angka desimal hasil pelatihan. Pada presisi 16-bit (F16 atau BF16), setiap bobot memakai 2 byte. Kuantisasi memetakan angka-angka itu ke rentang yang lebih kasar. Bayangkan mengganti penggaris dengan skala milimeter menjadi penggaris dengan skala setengah sentimeter: masih bisa mengukur, tapi detail kecil hilang.

Teknik modern tidak memotong presisi secara merata. Bobot dikelompokkan dalam blok kecil, dan setiap blok punya faktor skala sendiri sehingga kesalahan pembulatan bisa ditekan. Beberapa metode juga memberi presisi lebih tinggi pada bagian model yang lebih sensitif.

Membaca kode seperti Q4_K_M

Kode ini berasal dari ekosistem llama.cpp dan format file GGUF, yang juga dipakai oleh alat seperti Ollama dan LM Studio.

• Angka setelah Q: perkiraan jumlah bit per bobot. Q4 sekitar 4 bit, Q8 sekitar 8 bit.
• K: menandakan metode "k-quant", yang mengelompokkan bobot dalam blok bertingkat dengan skala tersendiri.
• S, M, L: small, medium, large. Varian M dan L memberi presisi lebih tinggi pada sebagian lapisan penting, sehingga file sedikit lebih besar dan kualitas sedikit lebih baik.
• _0: metode lama yang lebih sederhana, seperti Q8_0.
• IQ: keluarga metode lain yang dirancang untuk menjaga kualitas pada bit sangat rendah.
• F16 atau BF16: tanpa kuantisasi, presisi 16-bit.

Contoh ukuran nyata

Dokumentasi alat kuantisasi llama.cpp (dicek per 7 November 2026) mencantumkan ukuran untuk model Llama 3.1 8B. Beberapa di antaranya:

Kolom bit per bobot dan ukuran file berasal dari dokumentasi tersebut. Kolom gambaran pemakaian adalah panduan umum, bukan hasil pengukuran. Perhatikan bahwa bit per bobot sedikit di atas angka nominalnya, karena faktor skala tiap blok juga perlu disimpan.

Rumus kasarnya: ukuran file kira-kira sama dengan jumlah parameter dikali bit per bobot, dibagi 8. Model 70B pada Q4_K_M berarti sekitar 70 miliar dikali 4,89 bit, lalu dibagi 8, hasilnya sekitar 43 GB. Arti angka parameter dijelaskan di arti angka 7B, 70B, dan 400B.

Seberapa besar penurunan kualitasnya?

Ini pertanyaan yang jawabannya "tergantung", tetapi ada pola umum yang sering dilaporkan komunitas. Q8 biasanya sulit dibedakan dari model aslinya dalam pemakaian sehari-hari. Q6 dan Q5 masih sangat dekat. Q4 dengan metode K atau IQ umumnya masih layak untuk percakapan dan tugas umum, walau penurunan mulai bisa diukur. Di bawah itu, Q3 dan Q2, penurunan makin terasa: model lebih sering salah fakta, kehilangan alur penalaran, atau keluar dari format.

Beberapa faktor memengaruhi seberapa besar dampaknya:

• Ukuran model. Model besar cenderung lebih tahan kuantisasi. Model 70B di Q4 sering masih lebih baik daripada model 8B di Q8.
• Jenis tugas. Matematika, kode, dan tugas yang menuntut ketelitian lebih sensitif dibanding obrolan biasa atau ringkasan.
• Bahasa. Kemampuan bahasa selain Inggris, termasuk bahasa Indonesia, bisa lebih cepat menurun. Uji dengan contoh berbahasa Indonesia.
• Kualitas proses kuantisasi. File dari sumber yang berbeda bisa memberi hasil sedikit berbeda meski labelnya sama.

Kapan memilih Q8, kapan Q4

Pilih Q8 atau Q6 bila memori cukup longgar dan kamu memakai model untuk tugas yang menuntut ketelitian, seperti kode, analisis angka, atau ekstraksi data yang hasilnya langsung dipakai sistem. Pada tingkat ini kamu hampir tidak mengorbankan kualitas, dan ukuran file sudah separuh dari aslinya.

Pilih Q4_K_M atau Q5_K_M bila memori terbatas, misalnya laptop dengan RAM 16 GB atau GPU 8 GB untuk model kelas 7B sampai 8B. Ini titik keseimbangan yang paling sering dipakai untuk AI lokal. Bila dihadapkan pada pilihan antara model kecil di Q8 dan model yang lebih besar di Q4 dengan ukuran file serupa, model yang lebih besar di Q4 sering memberi hasil lebih baik, tetapi tetap uji untuk tugasmu.

Hindari Q3 dan Q2 kecuali benar-benar terpaksa, misalnya hanya ingin mencoba model sangat besar di perangkat terbatas. Untuk pemakaian serius, lebih baik turun ke model yang lebih kecil daripada memakai kuantisasi serendah itu.

Kebutuhan memori per kartu grafis dibahas di berapa VRAM GPU yang dibutuhkan untuk LLM, dan bila kamu berencana menjalankan model tanpa GPU sama sekali, gambaran kecepatannya ada di menjalankan LLM di VPS tanpa GPU.

Format lain selain GGUF

GGUF populer untuk menjalankan model di CPU, Mac, dan GPU konsumen. Untuk server GPU yang melayani banyak pengguna, ada format dan metode lain seperti GPTQ, AWQ, dan FP8, yang biasa dipakai bersama mesin inferensi seperti vLLM. Prinsipnya sama, yaitu mengurangi bit per bobot, tetapi cara kerja dan dukungan perangkatnya berbeda. Pilihan alat untuk server kecil dibandingkan di llama.cpp atau Ollama.