Cara Menjalankan LLM di Server Sendiri dengan Ollama

Ollama adalah program open-source untuk menjalankan model bahasa besar (LLM) open-weight di komputer atau server sendiri, lengkap dengan perintah untuk mengunduh model dan API yang bisa dipanggil aplikasi lain. Memasangnya hanya butuh beberapa menit. Bagian yang lebih sulit adalah memilih server: terlalu kecil, model berjalan lambat sampai tidak terpakai; terlalu besar, sewa GPU bulanan tidak sebanding dengan pemakaian.

Langkah di bawah memakai server Linux dan mengacu pada dokumentasi resmi Ollama dan Open WebUI per 4 November 2026.

Memasang Ollama dan menjalankan model pertama

Instalasi

Di Linux, dokumentasi resmi menyediakan skrip instalasi satu baris:

curl -fsSL https://ollama.com/install.sh | sh

Skrip ini memasang Ollama sebagai layanan systemd. Bila servermu punya GPU NVIDIA, pasang driver CUDA lebih dulu dan pastikan nvidia-smi menampilkan detail GPU. Untuk GPU AMD, dokumentasi menyebut ROCm v7. Log layanan bisa dilihat dengan journalctl -e -u ollama, dan pembaruan dilakukan dengan menjalankan ulang skrip instalasi.

Mengunduh dan menjalankan model

Daftar model ada di pustaka resmi Ollama. Per 4 November 2026, pustaka itu memuat antara lain keluarga Gemma 4 dari Google (varian e2b, e4b, 12b, 26b, 31b), Qwen 3.5 dari Alibaba (0.8b sampai 122b), Llama 3.2 dari Meta (1b dan 3b), dan gpt-oss dari OpenAI (20b dan 120b). Angka seperti 4b atau 12b menunjukkan jumlah parameter dalam miliar.

ollama run gemma4:e4b

Perintah ini mengunduh model bila belum ada, lalu membuka sesi chat di terminal. Pada Linux, model tersimpan di /usr/share/ollama/.ollama/models, dan lokasinya bisa dipindah dengan variabel OLLAMA_MODELS. Gambaran tentang model open-weight lain ada di model AI open-weight.

Memeriksa model jalan di CPU atau GPU

Jalankan ollama ps. Kolom PROCESSOR menunjukkan 100% GPU, 100% CPU, atau pembagian seperti 48%/52% CPU/GPU bila model tidak muat seluruhnya di memori GPU. Pembagian seperti itu biasanya berarti respons jauh lebih lambat dibanding model yang muat penuh di GPU.

Membuka API dan memasang antarmuka chat

Secara bawaan Ollama hanya mendengarkan di 127.0.0.1 port 11434, jadi API hanya bisa diakses dari server itu sendiri. Aplikasi di server yang sama cukup memanggil http://localhost:11434/api/chat. Ollama juga menyediakan pustaka Python dan JavaScript resmi.

Bila aplikasi lain perlu mengakses dari luar, dokumentasi menjelaskan cara mengubah alamat lewat variabel OLLAMA_HOST:

sudo systemctl edit ollama.service
# tambahkan di bawah [Service]:
# Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Untuk antarmuka mirip ChatGPT, Open WebUI adalah pasangan yang umum. Dokumentasi Open WebUI memberi perintah Docker berikut, dan menyebut bahwa Ollama di host harus mendengarkan di 0.0.0.0 bila Open WebUI berjalan di dalam Docker:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -e WEBUI_SECRET_KEY=ganti-dengan-kunci-acak \
  -v open-webui:/app/backend/data --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Dengan pengaturan ini Open WebUI mencari Ollama di alamat host bawaan. Kunci rahasia bisa dibuat dengan openssl rand -hex 32, dan dokumentasinya menyarankan kunci itu dibuat sekali lalu tidak diganti, agar pengguna tidak ter-logout setiap kali container dibuat ulang. Penjelasan lebih lengkap tentang Open WebUI ada di Open WebUI di server sendiri. Perintah ini membutuhkan Docker yang sudah terpasang di server.

Seberapa cepat di CPU dibanding GPU?

Tidak ada angka tunggal, karena kecepatan bergantung pada ukuran model, tingkat kuantisasi, panjang konteks, dan perangkat keras. Pola umumnya bisa dirangkum seperti ini.

Dua pengaturan lain memengaruhi pengalaman. Pertama, panjang konteks: menurut FAQ Ollama nilai bawaannya 4096 token, bisa diubah lewat OLLAMA_CONTEXT_LENGTH atau parameter num_ctx. Konteks lebih panjang butuh memori lebih besar. Kedua, model dibiarkan di memori selama 5 menit setelah dipakai, lalu dilepas. Permintaan pertama setelah itu terasa lebih lambat karena model dimuat ulang. Durasinya bisa diatur dengan keep_alive atau OLLAMA_KEEP_ALIVE.

Kapan cukup CPU, kapan perlu GPU?

Server tanpa GPU masuk akal bila tugasnya bisa menunggu: merangkum dokumen di malam hari, mengklasifikasikan pesan masuk, atau mengekstrak data dari teks pendek. Model kecil sering cukup untuk tugas seperti itu, dan biayanya jauh lebih rendah. Server ini juga tempat yang baik untuk belajar dan menguji alur sebelum berinvestasi lebih besar.

GPU mulai diperlukan bila ada orang yang menunggu jawaban secara langsung, misalnya chat untuk tim atau pelanggan, atau bila kualitas model kecil terbukti tidak cukup. Ukur kebutuhan VRAM dari model yang ingin dipakai, lalu sisakan ruang untuk konteks.

Bila tujuanmu hanya kualitas jawaban terbaik tanpa syarat data harus tinggal di server sendiri, API model komersial sering lebih praktis. Jalur lokal paling bernilai saat kerahasiaan data, biaya yang bisa diprediksi, atau kemampuan berjalan tanpa internet menjadi prioritas. Panduan memilih spesifikasi server ada di memilih spesifikasi VPS.