--- title: "Cara Menjalankan LLM di Server Sendiri dengan Ollama" description: "Panduan memasang Ollama di server Linux, mengunduh model, membuka API dengan aman, memasang Open WebUI, dan ekspektasi performa CPU vs GPU." url: "https://nivelva.com/insight/menjalankan-llm-lokal-ollama" category: "AI \u0026 Otomasi" tags: ["ollama","llm lokal","self-hosted ai","open webui","gpu"] author: "Theresia Candiawan" published: "2026-11-07T09:09:00+07:00" updated: "2026-11-07T09:09:00+07:00" language: "id" publisher: "Nivelva (https://nivelva.com)" --- # Cara Menjalankan LLM di Server Sendiri dengan Ollama > **Jawaban singkat:** Ollama menjalankan model bahasa open-weight di server sendiri dengan satu skrip instalasi dan API di port 11434. Di server tanpa GPU, model kecil masih nyaman dipakai, sedangkan model menengah ke atas butuh GPU dengan VRAM cukup. Jangan buka port API ke internet tanpa pengaman. Ollama adalah program open-source untuk menjalankan model bahasa besar (LLM) open-weight di komputer atau server sendiri, lengkap dengan perintah untuk mengunduh model dan API yang bisa dipanggil aplikasi lain. Memasangnya hanya butuh beberapa menit. Bagian yang lebih sulit adalah memilih server: terlalu kecil, model berjalan lambat sampai tidak terpakai; terlalu besar, sewa GPU bulanan tidak sebanding dengan pemakaian. Langkah di bawah memakai server Linux dan mengacu pada dokumentasi resmi Ollama dan Open WebUI per 4 November 2026. ## Memasang Ollama dan menjalankan model pertama ### Instalasi Di Linux, dokumentasi resmi menyediakan skrip instalasi satu baris: ```bash curl -fsSL https://ollama.com/install.sh | sh ``` Skrip ini memasang Ollama sebagai layanan systemd. Bila servermu punya GPU NVIDIA, pasang driver CUDA lebih dulu dan pastikan `nvidia-smi` menampilkan detail GPU. Untuk GPU AMD, dokumentasi menyebut ROCm v7. Log layanan bisa dilihat dengan `journalctl -e -u ollama`, dan pembaruan dilakukan dengan menjalankan ulang skrip instalasi. ### Mengunduh dan menjalankan model Daftar model ada di pustaka resmi Ollama. Per 4 November 2026, pustaka itu memuat antara lain keluarga Gemma 4 dari Google (varian e2b, e4b, 12b, 26b, 31b), Qwen 3.5 dari Alibaba (0.8b sampai 122b), Llama 3.2 dari Meta (1b dan 3b), dan gpt-oss dari OpenAI (20b dan 120b). Angka seperti 4b atau 12b menunjukkan jumlah parameter dalam miliar. ```bash ollama run gemma4:e4b ``` Perintah ini mengunduh model bila belum ada, lalu membuka sesi chat di terminal. Pada Linux, model tersimpan di `/usr/share/ollama/.ollama/models`, dan lokasinya bisa dipindah dengan variabel `OLLAMA_MODELS`. Gambaran tentang model open-weight lain ada di [model AI open-weight](https://nivelva.com/insight/model-ai-open-source). ### Memeriksa model jalan di CPU atau GPU Jalankan `ollama ps`. Kolom PROCESSOR menunjukkan `100% GPU`, `100% CPU`, atau pembagian seperti `48%/52% CPU/GPU` bila model tidak muat seluruhnya di memori GPU. Pembagian seperti itu biasanya berarti respons jauh lebih lambat dibanding model yang muat penuh di GPU. ## Membuka API dan memasang antarmuka chat Secara bawaan Ollama hanya mendengarkan di `127.0.0.1` port `11434`, jadi API hanya bisa diakses dari server itu sendiri. Aplikasi di server yang sama cukup memanggil `http://localhost:11434/api/chat`. Ollama juga menyediakan pustaka Python dan JavaScript resmi. Bila aplikasi lain perlu mengakses dari luar, dokumentasi menjelaskan cara mengubah alamat lewat variabel `OLLAMA_HOST`: ```bash sudo systemctl edit ollama.service # tambahkan di bawah [Service]: # Environment="OLLAMA_HOST=0.0.0.0:11434" sudo systemctl daemon-reload sudo systemctl restart ollama ``` Untuk antarmuka mirip ChatGPT, Open WebUI adalah pasangan yang umum. Dokumentasi Open WebUI memberi perintah Docker berikut, dan menyebut bahwa Ollama di host harus mendengarkan di `0.0.0.0` bila Open WebUI berjalan di dalam Docker: ```bash docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \ -e WEBUI_SECRET_KEY=ganti-dengan-kunci-acak \ -v open-webui:/app/backend/data --name open-webui --restart always \ ghcr.io/open-webui/open-webui:main ``` Dengan pengaturan ini Open WebUI mencari Ollama di alamat host bawaan. Kunci rahasia bisa dibuat dengan `openssl rand -hex 32`, dan dokumentasinya menyarankan kunci itu dibuat sekali lalu tidak diganti, agar pengguna tidak ter-logout setiap kali container dibuat ulang. Penjelasan lebih lengkap tentang Open WebUI ada di [Open WebUI di server sendiri](https://nivelva.com/insight/open-webui-chatgpt-sendiri). Perintah ini membutuhkan Docker yang sudah terpasang di server. > **Jangan buka port 11434 ke internet:** > > Dokumentasi FAQ Ollama tidak menjelaskan mekanisme login untuk API-nya. Anggap siapa pun yang bisa menjangkau port 11434 bisa memakai modelmu dan sumber daya servermu. Setelah mengubah `OLLAMA_HOST` ke `0.0.0.0`, batasi port itu dengan firewall agar hanya bisa diakses dari jaringan internal atau container, lalu buka akses pengguna lewat antarmuka yang punya login seperti Open WebUI di balik HTTPS. Langkah dasar pengamanan server ada di [cara mengamankan VPS baru](https://nivelva.com/insight/cara-mengamankan-vps-baru). ## Seberapa cepat di CPU dibanding GPU? Tidak ada angka tunggal, karena kecepatan bergantung pada ukuran model, tingkat kuantisasi, panjang konteks, dan perangkat keras. Pola umumnya bisa dirangkum seperti ini. | Aspek | Server tanpa GPU (CPU saja) | Server dengan GPU | |:--|:--|:--| | Model yang nyaman dipakai | Model kecil, sekitar 1 sampai 4 miliar parameter | Model menengah sampai besar, selama muat di VRAM | | Kecepatan respons | Terasa lambat untuk model menengah ke atas | Jauh lebih cepat selama model muat penuh di GPU | | Kebutuhan memori | RAM harus cukup menampung seluruh model | VRAM menentukan ukuran model yang bisa dipakai | | Pemakaian bersamaan | Cocok untuk satu atau sedikit pengguna | Lebih kuat untuk beberapa pengguna sekaligus | | Biaya | Lebih rendah | Lebih tinggi | | Cocok untuk | Uji coba, ringkasan, klasifikasi teks, tugas latar belakang | Chat tim, RAG atas dokumen, asisten koding | Dua pengaturan lain memengaruhi pengalaman. Pertama, panjang konteks: menurut FAQ Ollama nilai bawaannya 4096 token, bisa diubah lewat `OLLAMA_CONTEXT_LENGTH` atau parameter `num_ctx`. Konteks lebih panjang butuh memori lebih besar. Kedua, model dibiarkan di memori selama 5 menit setelah dipakai, lalu dilepas. Permintaan pertama setelah itu terasa lebih lambat karena model dimuat ulang. Durasinya bisa diatur dengan `keep_alive` atau `OLLAMA_KEEP_ALIVE`. ## Kapan cukup CPU, kapan perlu GPU? Server tanpa GPU masuk akal bila tugasnya bisa menunggu: merangkum dokumen di malam hari, mengklasifikasikan pesan masuk, atau mengekstrak data dari teks pendek. Model kecil sering cukup untuk tugas seperti itu, dan biayanya jauh lebih rendah. Server ini juga tempat yang baik untuk belajar dan menguji alur sebelum berinvestasi lebih besar. GPU mulai diperlukan bila ada orang yang menunggu jawaban secara langsung, misalnya chat untuk tim atau pelanggan, atau bila kualitas model kecil terbukti tidak cukup. Ukur kebutuhan VRAM dari model yang ingin dipakai, lalu sisakan ruang untuk konteks. Bila tujuanmu hanya kualitas jawaban terbaik tanpa syarat data harus tinggal di server sendiri, API model komersial sering lebih praktis. Jalur lokal paling bernilai saat kerahasiaan data, biaya yang bisa diprediksi, atau kemampuan berjalan tanpa internet menjadi prioritas. Panduan memilih spesifikasi server ada di [memilih spesifikasi VPS](https://nivelva.com/insight/memilih-spesifikasi-vps). ## Pertanyaan yang sering diajukan ### Apakah Ollama gratis? Ya, Ollama adalah perangkat lunak open-source. Biaya yang ada berasal dari server, dan setiap model punya lisensinya sendiri yang perlu dicek sebelum dipakai untuk bisnis. ### Model mana yang bagus untuk bahasa Indonesia? Banyak model multibahasa terbaru bisa berbahasa Indonesia, tetapi kualitasnya berbeda. Uji beberapa model dengan pertanyaan dan dokumen nyata dari pekerjaanmu sebelum memilih. ### Bisakah Ollama dipakai oleh aplikasi lain seperti n8n? Bisa, lewat API di port 11434. Pastikan aplikasi itu berada di jaringan yang sama atau mengakses lewat jalur yang aman. ### Bagaimana cara menghapus model yang tidak dipakai? Gunakan perintah `ollama rm` diikuti nama model. Model besar memakan ruang disk yang cukup banyak, jadi hapus yang sudah tidak terpakai. ## Sumber - - - - - --- Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/menjalankan-llm-lokal-ollama Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com