Spesifikasi Laptop dan PC untuk Menjalankan AI Lokal

Menjalankan AI lokal berarti memakai model bahasa langsung di laptop atau PC sendiri, tanpa mengirim data ke layanan cloud. Alat seperti Ollama dan llama.cpp membuat prosesnya cukup mudah: unduh model, jalankan, lalu mengobrol lewat terminal atau antarmuka web.

Bagian yang sering salah hitung justru perangkatnya. Membeli laptop dengan memori terlalu kecil berarti hanya bisa menjalankan model kecil yang hasilnya kurang memuaskan. Membeli berlebihan berarti membayar mahal untuk kapasitas yang jarang terpakai. Panduan ini membantu menghitung kebutuhan sebelum membeli.

Berapa memori yang dibutuhkan sebuah model?

Rumus kasar dari jumlah parameter

Ukuran model biasanya ditulis dalam jumlah parameter, misalnya 8B (8 miliar) atau 70B. Memori untuk menyimpan bobotnya kira-kira:

jumlah parameter x bit per bobot / 8

Bit per bobot ditentukan oleh format atau kuantisasi. Menurut dokumentasi format GGUF di Hugging Face, format F16 memakai 16 bit per bobot, Q4_K sekitar 4,5 bit, dan Q2_K sekitar 2,6 bit. Q8_0 menyimpan bobot 8-bit ditambah skala per blok 32 bobot, sehingga kira-kira 8,5 bit per bobot.

Apa itu kuantisasi?

Kuantisasi adalah cara menyimpan bobot model dengan presisi lebih rendah supaya ukurannya mengecil. llama.cpp mendukung kuantisasi integer dari 1,5-bit sampai 8-bit untuk inferensi yang lebih cepat dan hemat memori. Semakin rendah bitnya, semakin kecil dan cepat modelnya, tetapi kualitas jawaban bisa turun. Kuantisasi 4-bit sering menjadi titik tengah yang banyak dipakai, sedangkan 2-bit dan 3-bit biasanya hanya dipakai bila memori benar-benar terbatas.

Jangan lupa ruang untuk konteks

Selain bobot, model butuh memori untuk "cache" percakapan (KV cache) yang membesar seiring panjang konteks, ditambah kebutuhan sistem operasi dan aplikasi lain. Sisakan ruang beberapa GB di atas ukuran bobot, lebih banyak bila kamu ingin memasukkan dokumen panjang.

Tabel di bawah adalah hitungan kasar ukuran bobot memakai rumus di atas, belum termasuk konteks dan sistem. Angka nyata tiap file model bisa sedikit berbeda.

Dari tabel ini terlihat kenapa memori adalah faktor nomor satu. Bobot model 8B dengan kuantisasi 4-bit muat di GPU 8 GB dengan sisa ruang untuk konteks yang tidak terlalu panjang, sedangkan model 70B butuh memori berkali lipat.

Apple Silicon atau NVIDIA?

Mac dengan memori terpadu

Di Mac berprosesor Apple Silicon, CPU dan GPU memakai memori yang sama (unified memory). Artinya, Mac dengan memori besar bisa memuat model yang tidak muat di kartu grafis konsumen, karena tidak dibatasi VRAM terpisah. llama.cpp menyebut Apple Silicon sebagai "first-class citizen" dan mengoptimalkannya lewat Metal, Accelerate, dan ARM NEON. Dokumentasi Ollama juga menyebut akselerasi GPU di perangkat Apple lewat Metal API.

Kekurangannya, memori Mac tidak bisa ditambah setelah dibeli. Pilih kapasitas memori sejak awal, dan ingat sebagian memori tetap dipakai sistem operasi.

PC dengan GPU NVIDIA

Di PC, yang menentukan adalah VRAM kartu grafis. Bila seluruh model muat di VRAM, kecepatannya biasanya sangat baik. Dokumentasi Ollama menyebut dukungan GPU NVIDIA dengan compute capability 5.0 ke atas dan driver versi 550 atau lebih baru, mencakup seri GeForce RTX 30, 40, dan 50. Ollama juga mendukung sebagian GPU AMD Radeon lewat ROCm.

Bila model lebih besar dari VRAM, llama.cpp bisa membagi beban antara CPU dan GPU (inferensi hibrida). Model tetap jalan, tetapi lebih lambat karena sebagian dihitung di CPU dan RAM biasa.

Hanya CPU

Tanpa GPU yang didukung, model kecil (sekitar 3B sampai 8B dengan kuantisasi 4-bit) masih bisa jalan di CPU dengan RAM cukup. Kecepatannya lebih lambat, tetapi cukup untuk mencoba atau tugas ringan seperti meringkas teks pendek.

Kapan memilih laptop, PC, atau server

Pilih laptop atau Mac dengan memori besar bila kamu ingin AI lokal yang bisa dibawa ke mana saja, untuk pemakaian pribadi, dan model menengah sudah cukup. Mac dengan memori terpadu besar menarik bila kamu ingin mencoba model yang lebih besar tanpa merakit PC.

Pilih PC desktop dengan GPU NVIDIA bila kecepatan penting dan modelmu muat di VRAM. PC juga lebih mudah ditingkatkan: kartu grafis bisa diganti di kemudian hari.

Pilih server bila AI dipakai bersama satu tim, harus menyala terus, atau dihubungkan ke aplikasi dan otomasi bisnis. Laptop yang dimatikan saat pulang kerja tidak bisa melayani chatbot pelanggan di malam hari. Server di pusat data juga memberi koneksi stabil dan tidak mengganggu perangkat kerja harian. Pertimbangan memilih server fisik sendiri dibahas di kapan bisnis butuh dedicated server, dan untuk beban ringan, panduan memilih spesifikasi VPS bisa jadi titik awal.

Cara memulai dengan perangkat yang sudah ada

Sebelum membeli apa pun, coba dulu. Pasang Ollama, jalankan model kecil, lalu perhatikan kecepatan dan kualitas jawabannya. Ollama juga menyediakan REST API di komputer lokal, sehingga aplikasi lain bisa memakainya. Untuk antarmuka mirip ChatGPT, kamu bisa memasang Open WebUI yang terhubung ke Ollama.

Pilihan model open-weight yang bisa dijalankan sendiri, beserta lisensinya, dibahas di model AI open-weight. Dari situ kamu bisa menentukan ukuran model target, lalu menghitung balik memori yang dibutuhkan memakai tabel di atas.