llama.cpp atau Ollama, Mana untuk Server Kecil?

llama.cpp adalah mesin inferensi open-source untuk menjalankan model bahasa secara efisien, termasuk di CPU, dengan format model GGUF. Ollama adalah aplikasi yang membungkus kemampuan sejenis menjadi layanan siap pakai: unduh model dengan satu perintah, jalankan, dan langsung punya API. Keduanya sama-sama berlisensi MIT dan sama-sama bisa berjalan di VPS tanpa GPU.

Salah pilih di sini jarang fatal, tetapi tetap ada harganya. Memilih Ollama untuk server yang sempit bisa berarti kamu kurang leluasa mengatur detail yang menentukan kecepatan. Memilih llama.cpp tanpa butuh kendali sebanyak itu berarti menghabiskan waktu mengurus hal yang sebenarnya bisa otomatis.

Perbedaan utama keduanya

Cara memasang dan mendapatkan model

Ollama menyediakan skrip instalasi untuk Linux yang sekaligus membuat layanan systemd. Model diambil dari pustaka Ollama dengan perintah seperti ollama pull llama3.2:3b, dan Ollama yang memilihkan berkas serta templat percakapannya. Kamu juga bisa membuat varian sendiri dengan Modelfile, misalnya menetapkan prompt sistem atau parameter.

llama.cpp bisa dipasang dari rilis biner di GitHub, manajer paket, atau dikompilasi sendiri agar memakai instruksi CPU terbaik di mesinmu. Model berupa berkas GGUF yang kamu unduh sendiri, atau langsung dari Hugging Face dengan opsi -hf di llama-server. Bila kuantisasi tidak disebut, dokumentasinya menyebut default Q4_K_M.

Server dan API

Ollama berjalan sebagai layanan latar belakang di port 11434 dan menyediakan API sendiri serta endpoint yang kompatibel dengan OpenAI. Ollama memuat model saat ada permintaan dan melepasnya dari memori setelah tidak dipakai beberapa saat (diatur lewat OLLAMA_KEEP_ALIVE). Ini praktis bila kamu bergantian memakai beberapa model.

llama-server dari llama.cpp menjalankan satu model yang dipilih saat start, lengkap dengan endpoint mirip OpenAI (chat completions, embeddings) dan antarmuka web bawaan untuk mencoba. Ia punya opsi --api-key untuk autentikasi. Karena satu proses melayani satu model yang terus termuat, perilakunya mudah ditebak: tidak ada jeda memuat model di tengah hari.

Seberapa banyak yang bisa diatur

llama.cpp membuka hampir semua tuas: jumlah thread, ukuran konteks (-c), jumlah slot paralel (-np), ukuran batch, berapa lapisan dipindah ke GPU, jenis cache, dan banyak lagi. Fitur baru biasanya muncul di sini lebih dulu.

Ollama menyederhanakan sebagian besar keputusan itu dengan nilai default yang wajar. Beberapa tetap bisa diatur lewat variabel lingkungan (misalnya OLLAMA_NUM_PARALLEL dan OLLAMA_CONTEXT_LENGTH) atau parameter di Modelfile, tetapi tidak sebanyak llama.cpp.

Tabel perbandingan

Mana yang lebih cepat di server kecil?

Di atas kertas, perbedaannya tidak besar karena Ollama memakai fondasi yang sama atau sejenis untuk banyak model. Selisih kecepatan lebih banyak ditentukan oleh model, kuantisasi, dan pengaturan, bukan nama alatnya. Yang membuat llama.cpp sering terasa unggul di server kecil adalah kemampuannya diatur persis: kamu bisa mengompilasi untuk CPU spesifik, menyetel thread, dan membatasi konteks sesuai RAM yang ada.

Satu hal yang perlu diingat di VPS kecil: kecepatan menghasilkan token terutama dibatasi bandwidth memori. Penjelasan dan cara menghitung perkiraannya ada di menjalankan LLM di VPS tanpa GPU. Cara terbaik membandingkan adalah mengukur sendiri dengan model dan prompt yang sama: Ollama dengan ollama run --verbose, llama.cpp dengan llama-bench.

Berapa memori yang perlu disisakan?

Di kedua alat, RAM terpakai untuk dua hal: bobot model (kira-kira sebesar berkas GGUF) dan cache konteks yang tumbuh seiring panjang konteks dan jumlah permintaan paralel. Menurut FAQ Ollama per 7 November 2026, konteks default-nya 4096 token dan setiap model memproses 1 permintaan sekaligus secara default. Kebutuhan memori naik kira-kira sebanding dengan jumlah paralel dikali panjang konteks. Di llama-server, ukuran konteks diatur dengan -c dan jumlah slot dengan -np. Konteks itu bisa terbagi ke beberapa slot, jadi baca dokumentasi servernya sebelum menaikkan keduanya. Di VPS kecil, naikkan kedua angka ini pelan-pelan sambil memantau RAM.

Kapan memilih Ollama, kapan llama.cpp

Pilih Ollama bila kamu baru mulai, ingin mencoba beberapa model secara bergantian, atau ingin langsung menyambungkannya ke alat lain. Banyak aplikasi seperti Open WebUI, n8n, dan berbagai plugin editor punya integrasi Ollama siap pakai. Untuk tim kecil yang ingin punya chat AI internal tanpa repot, kombinasi Ollama dan Open WebUI adalah titik awal yang masuk akal. Langkah pemasangannya ada di cara menjalankan LLM dengan Ollama.

Pilih llama.cpp bila server sudah sempit dan setiap ratus MB RAM berarti, bila kamu hanya butuh satu model yang selalu siap tanpa jeda memuat, atau bila kamu ingin memakai fitur dan format kuantisasi terbaru sesegera mungkin. llama.cpp juga cocok bila kamu ingin autentikasi sederhana tanpa memasang proxy tambahan, walau proxy tetap disarankan untuk akses dari internet.

Kalau ragu, mulai dengan Ollama. Setelah tahu model mana yang benar-benar dipakai dan di mana batas servermu, pindah ke llama.cpp hanya bila ada alasan yang jelas. Karena keduanya memakai GGUF dan API mirip OpenAI, perpindahannya relatif mudah.