---
title: "Berapa VRAM GPU yang Dibutuhkan untuk Menjalankan LLM?"
description: "Cara menghitung VRAM untuk LLM dari jumlah parameter, kuantisasi Q4, Q8, FP16, dan panjang konteks, plus tabel perkiraan untuk ukuran model umum."
url: "https://nivelva.com/insight/kebutuhan-vram-gpu-llm"
category: "AI \u0026 Otomasi"
tags: ["vram gpu","llm lokal","kuantisasi","self-hosted ai","kv cache"]
author: "Theresia Candiawan"
published: "2026-11-07T07:26:00+07:00"
updated: "2026-11-07T07:26:00+07:00"
language: "id"
publisher: "Nivelva (https://nivelva.com)"
---

# Berapa VRAM GPU yang Dibutuhkan untuk Menjalankan LLM?

> **Jawaban singkat:** Kebutuhan VRAM kira-kira sama dengan jumlah parameter dikali byte per parameter (2 byte untuk FP16, sekitar 1 byte untuk Q8, sekitar 0,5 sampai 0,6 byte untuk Q4), ditambah memori KV cache yang tumbuh seiring panjang konteks dan jumlah pengguna, plus cadangan 10 sampai 20 persen.

Tim kamu sudah memilih model open-weight yang ingin dijalankan sendiri, dan sekarang anggaran server harus diisi: GPU yang mana? Kartu dengan memori kecil jauh lebih murah, tapi kalau model tidak muat, model akan berjalan tersendat karena sebagian dipindah ke RAM, atau gagal dimuat sama sekali.

Jawaban singkatnya: hitung dulu ukuran bobot model, lalu tambahkan memori untuk konteks. Rumus kasarnya adalah **jumlah parameter dikali byte per parameter, ditambah KV cache, ditambah cadangan**. Dengan rumus ini kamu bisa memperkirakan kebutuhan VRAM sebelum membeli atau menyewa apa pun.

## Bobot model adalah porsi terbesar

Setiap parameter model disimpan sebagai angka. Berapa byte yang dibutuhkan satu angka tergantung presisinya. Pada FP16 atau BF16, satu parameter memakan 2 byte. Pada kuantisasi 8 bit (sering ditulis Q8 atau INT8), sekitar 1 byte. Pada kuantisasi 4 bit (Q4), sekitar setengah byte, tapi dalam praktik format Q4 menyimpan data tambahan seperti faktor skala, sehingga rata-ratanya sedikit di atas 4 bit per parameter.

Jadi model 8 miliar parameter (8B) dalam FP16 butuh sekitar 16 GB hanya untuk bobotnya. Model yang sama dalam Q8 sekitar 8 GB, dan dalam Q4 sekitar 4,5 sampai 5 GB. Angka ini belum termasuk konteks percakapan.

Kuantisasi bukan tanpa harga. Makin rendah presisinya, makin besar kemungkinan kualitas jawaban turun, terutama untuk tugas yang menuntut ketelitian seperti hitungan, kode, atau bahasa yang jarang muncul di data latih. Seberapa besar penurunannya berbeda antarmodel dan antartugas, jadi uji versi terkuantisasi dengan contoh pekerjaanmu sendiri sebelum memutuskan.

## Kenapa konteks panjang ikut memakan VRAM?

Saat model membaca prompt dan menulis jawaban, ia menyimpan hasil perhitungan untuk setiap token yang sudah diproses. Simpanan ini disebut KV cache. Ukurannya bertambah lurus dengan jumlah token di konteks, dan berlipat lagi bila beberapa pengguna dilayani bersamaan.

Rumus KV cache per token adalah 2 (key dan value) dikali jumlah lapisan, dikali jumlah kepala KV, dikali dimensi per kepala, dikali byte per angka. Sebagai gambaran, sebuah model 8B dengan 32 lapisan, 8 kepala KV, dan dimensi kepala 128 dalam FP16 butuh sekitar 128 KB per token. Konteks 8.000 token berarti sekitar 1 GB. Konteks 32.000 token sekitar 4 GB, untuk satu percakapan saja.

Itulah sebabnya model yang "muat" di atas kertas bisa kehabisan memori begitu dipakai untuk merangkum dokumen panjang. Banyak mesin inferensi seperti llama.cpp dan vLLM bisa mengkuantisasi KV cache atau membatasi panjang konteks maksimum, dua cara yang umum untuk menekan kebutuhan ini. Konfigurasi persis setiap model (jumlah lapisan dan kepala) bisa dilihat di file konfigurasi resminya.

## Tabel perkiraan VRAM untuk ukuran model umum

Tabel berikut hanya menghitung bobot model, dibulatkan, dan belum termasuk KV cache atau cadangan. Angka Q4 memakai asumsi sekitar 4,5 bit per parameter.

| Ukuran model | FP16 / BF16 | Q8 | Q4 | Catatan praktis |
|:--|:--|:--|:--|:--|
| 3B | sekitar 6 GB | sekitar 3 GB | sekitar 2 GB | Muat di GPU kecil, bahkan CPU masih wajar |
| 7B sampai 8B | sekitar 14 sampai 16 GB | sekitar 7 sampai 8 GB | sekitar 4 sampai 5 GB | Q4 muat di kartu 8 GB dengan konteks pendek |
| 13B sampai 14B | sekitar 26 sampai 28 GB | sekitar 13 sampai 14 GB | sekitar 7 sampai 8 GB | Q4 nyaman di kartu 12 sampai 16 GB |
| 30B sampai 34B | sekitar 60 sampai 68 GB | sekitar 30 sampai 34 GB | sekitar 17 sampai 19 GB | Q4 butuh kartu 24 GB ke atas |
| 70B | sekitar 140 GB | sekitar 70 GB | sekitar 40 GB | Biasanya perlu lebih dari satu GPU atau kartu memori besar |

Setelah angka bobot, tambahkan KV cache sesuai konteks dan jumlah pengguna bersamaan, lalu sisakan sekitar 10 sampai 20 persen untuk overhead mesin inferensi dan driver. Contoh: model 8B Q4 (sekitar 5 GB) dengan konteks 8.000 token untuk dua pengguna (sekitar 2 GB KV cache FP16) ditambah cadangan, berarti kartu 8 GB sudah mepet dan kartu 12 GB lebih aman.

Model mixture-of-experts (MoE) punya aturan sendiri. Hanya sebagian parameter yang aktif per token, sehingga lebih cepat, tapi seluruh bobot tetap harus dimuat ke memori. Untuk menghitung VRAM, pakai jumlah parameter total, bukan parameter aktif.

## Kapan CPU saja sudah cukup

Inferensi di CPU memakai RAM biasa, yang jauh lebih murah per gigabyte daripada VRAM. Kekurangannya adalah kecepatan: menghasilkan token di CPU sangat dibatasi oleh bandwidth memori, sehingga model besar terasa lambat.

CPU masih masuk akal bila modelnya kecil (sekitar 3B sampai 8B dalam Q4), penggunanya sedikit, dan pekerjaannya tidak perlu jawaban instan. Contohnya klasifikasi tiket di latar belakang, ringkasan email malam hari, atau uji coba sebelum membeli GPU. Untuk chatbot yang dipakai banyak orang sekaligus atau model 30B ke atas, GPU dengan VRAM cukup biasanya jauh lebih nyaman. Pilihan lain adalah membagi model antara GPU dan RAM (offloading sebagian lapisan), yang membuat model besar bisa jalan meski lebih lambat daripada bila seluruhnya ada di VRAM.

Kalau kamu sedang menimbang antara menyewa server sendiri atau tetap memakai API, bandingkan juga biaya dan beban operasionalnya di [API model AI vs self-hosted](https://nivelva.com/insight/api-ai-vs-self-hosted). Daftar model yang bisa dijalankan sendiri ada di [model AI open-weight](https://nivelva.com/insight/model-ai-open-source), dan pertimbangan memilih server fisik dibahas di [kapan bisnis butuh dedicated server](https://nivelva.com/insight/kapan-butuh-dedicated-server).

## Urutan menghitung sebelum membeli

Mulailah dari model yang memang sudah lolos uji kualitas untuk pekerjaanmu. Tentukan presisi yang masih bisa diterima, misalnya Q8 untuk tugas yang butuh ketelitian atau Q4 untuk percakapan umum. Hitung bobotnya dengan tabel di atas.

Lalu tentukan panjang konteks yang benar-benar dibutuhkan dan berapa permintaan yang akan diproses bersamaan pada jam sibuk. Hitung KV cache dari konfigurasi model, tambahkan cadangan, dan bulatkan ke ukuran kartu yang tersedia. Terakhir, uji di mesin sewaan atau lokal dengan beban mirip produksi sebelum berkomitmen jangka panjang, karena angka teori sering meleset beberapa gigabyte. Bila hasil hitunganmu jatuh tepat di batas sebuah kartu, pilih ukuran di atasnya: kebutuhan konteks biasanya bertambah setelah fitur dipakai orang sungguhan.

---

Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/kebutuhan-vram-gpu-llm
Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com