--- title: "Stack AI Open-Source untuk Perusahaan: Komponennya" description: "Peta lapisan stack AI self-hosted: runtime model, gateway, vector database, orkestrasi, antarmuka chat, dan observabilitas, plus arsitektur awal." url: "https://nivelva.com/insight/stack-ai-open-source-perusahaan" category: "AI \u0026 Otomasi" tags: ["ai self-hosted","open source","vector database","llm","infrastruktur ai"] author: "Theresia Candiawan" published: "2026-11-07T11:17:00+07:00" updated: "2026-11-07T11:17:00+07:00" language: "id" publisher: "Nivelva (https://nivelva.com)" --- # Stack AI Open-Source untuk Perusahaan: Komponennya > **Jawaban singkat:** Stack AI self-hosted punya enam lapisan: runtime model (Ollama, vLLM, llama.cpp), gateway (LiteLLM), vector database (Qdrant, pgvector, Milvus), orkestrasi (Langflow, n8n), antarmuka chat (Open WebUI), dan observabilitas (Langfuse, Phoenix). Mulai dari tiga atau empat lapisan. Proyek "kami mau AI sendiri" sering dimulai dengan satu server berisi model dan antarmuka chat. Lalu muncul kebutuhan berikutnya: memakai beberapa model, menjawab dari dokumen internal, mengatur siapa boleh memakai apa, dan mengetahui berapa biayanya serta seberapa sering jawabannya salah. Di titik itu satu server tadi mulai macet. Stack AI open-source sebenarnya adalah beberapa perangkat lunak terpisah, masing-masing mengurus satu lapisan. Kalau lapisannya dipahami sejak awal, kamu bisa mulai kecil tanpa harus membongkar ulang nanti. Semua proyek yang disebut di bawah aktif dikembangkan di GitHub per 4 November 2026. Ini contoh yang representatif, bukan daftar lengkap dan bukan peringkat. ## Lapisan 1: runtime model, tempat model dijalankan Runtime adalah perangkat lunak yang memuat model ke memori (CPU atau GPU) dan melayani permintaan, biasanya lewat API yang mirip format OpenAI. - **Ollama** (lisensi MIT): paling sederhana untuk memulai, satu perintah untuk mengunduh dan menjalankan model. Cocok untuk pengembangan dan beban ringan. - **llama.cpp** (lisensi MIT): mesin inferensi berbasis C/C++, dikenal untuk menjalankan model terkuantisasi di perangkat keras sederhana, termasuk CPU. - **vLLM** (lisensi Apache-2.0): menggambarkan dirinya sebagai mesin inferensi dan serving dengan throughput tinggi dan hemat memori. Lebih cocok untuk server GPU yang melayani banyak pengguna bersamaan. Model apa yang dijalankan adalah keputusan tersendiri. Pilihan model open-weight dan kebutuhan perangkat kerasnya dibahas di [model AI open-weight yang bisa dijalankan sendiri](https://nivelva.com/insight/model-ai-open-source). ## Apa fungsi gateway di depan model? Gateway adalah satu pintu untuk semua model, baik yang kamu jalankan sendiri maupun API dari penyedia cloud. Aplikasi cukup bicara dengan gateway, dan gateway yang meneruskan ke model yang tepat. **LiteLLM** adalah contoh yang banyak dipakai. Repositorinya menyebut kemampuan memanggil lebih dari 100 API model dalam format OpenAI. Gateway semacam ini biasanya juga mengurus kunci API per tim, batas pemakaian, pencatatan biaya, dan pengalihan bila satu model gagal. Konsepnya dijelaskan lebih lengkap di [apa itu AI gateway](https://nivelva.com/insight/apa-itu-ai-gateway). Untuk perusahaan, lapisan ini sering yang paling cepat terasa manfaatnya, karena mengganti model tidak lagi berarti mengubah kode di semua aplikasi. ## Lapisan 3: vector database dan embedding Kalau AI harus menjawab dari dokumen internal, dokumen itu dipotong, diubah menjadi vektor (embedding), dan disimpan di database yang bisa mencari berdasarkan kemiripan makna. Inilah dasar RAG. - **pgvector**: ekstensi pencarian vektor untuk PostgreSQL. Pilihan praktis bila kamu sudah memakai PostgreSQL, karena tidak menambah sistem baru. - **Qdrant** (lisensi Apache-2.0): vector database khusus dengan fitur filter dan pencarian yang kaya. - **Milvus** (lisensi Apache-2.0): vector database yang dirancang untuk skala besar dan cloud-native. Embedding sendiri butuh model. Bisa memakai runtime yang sama dengan model chat, atau server khusus seperti **Text Embeddings Inference** dari Hugging Face (lisensi Apache-2.0). ## Lapisan 4: orkestrasi, tempat logika disusun Orkestrasi mengatur alur: ambil pertanyaan, cari dokumen, susun prompt, panggil model, simpan hasil, kirim ke kanal lain. Bisa ditulis sebagai kode, atau disusun secara visual. - **Langflow** (lisensi MIT): penyusun alur dan agen AI secara visual. Contohnya ada di [Langflow: alur AI tanpa coding](https://nivelva.com/insight/langflow-alur-ai-tanpa-coding). - **n8n**: platform otomasi alur kerja yang menyebut dirinya *fair-code*, dengan kemampuan AI bawaan. Cocok bila AI hanya satu langkah dalam alur bisnis yang lebih panjang, misalnya merangkum email lalu mencatatnya ke CRM. ## Lapisan 5: antarmuka chat untuk karyawan Ini bagian yang dilihat pengguna. **Open WebUI** adalah antarmuka chat yang mendukung Ollama dan API berformat OpenAI, sehingga bisa disambungkan ke runtime lokal maupun ke gateway. Fitur seperti akun pengguna, riwayat percakapan, dan unggah dokumen membuatnya sering dipakai sebagai "ChatGPT internal". Panduannya ada di [Open WebUI: chat AI di server sendiri](https://nivelva.com/insight/open-webui-chatgpt-sendiri). ## Kenapa observabilitas tidak boleh dilewatkan? Tanpa observabilitas, kamu tidak tahu pertanyaan apa yang paling sering diajukan, jawaban mana yang salah, berapa lama model merespons, atau tim mana yang memakai token paling banyak. **Langfuse** menggambarkan dirinya sebagai platform evaluasi dan observabilitas agen, untuk merekam jejak (trace), mengevaluasi, dan memperbaiki aplikasi LLM. **Phoenix** dari Arize juga berfokus pada observabilitas dan evaluasi AI. Keduanya merekam setiap langkah, dari prompt sampai jawaban, sehingga kesalahan bisa ditelusuri. > **Cek lisensi sebelum dipakai komersial:** > > Lisensi proyek open-source berbeda-beda. Sebagian memakai MIT atau Apache-2.0, sebagian memakai lisensi sendiri atau model fair-code dengan syarat tertentu untuk pemakaian komersial atau fitur enterprise. Baca file LICENSE di repositori masing-masing sebelum dipakai di produksi. ## Ringkasan lapisan dan arsitektur awal | Lapisan | Fungsi | Contoh proyek | Perlu sejak awal? | |:--|:--|:--|:--| | Runtime model | Menjalankan model | Ollama, llama.cpp, vLLM | Ya, bila memakai model lokal | | Gateway | Satu pintu ke semua model, kunci dan biaya | LiteLLM | Disarankan begitu ada lebih dari satu aplikasi | | Vector database | Menyimpan dan mencari embedding dokumen | pgvector, Qdrant, Milvus | Bila butuh RAG | | Orkestrasi | Menyusun alur dan agen | Langflow, n8n | Bila ada alur lebih dari tanya jawab | | Antarmuka chat | Tempat karyawan bertanya | Open WebUI | Ya, untuk pemakaian internal | | Observabilitas | Jejak, evaluasi, biaya | Langfuse, Phoenix | Disarankan sebelum dipakai luas | Arsitektur awal yang masuk akal untuk kebanyakan perusahaan cukup tiga atau empat komponen: antarmuka chat, gateway, satu runtime model (atau API cloud lewat gateway), dan PostgreSQL dengan pgvector bila perlu RAG. Semua bisa dijalankan sebagai container, sehingga mudah dipindah dan diperbarui. Tambahkan orkestrasi ketika muncul alur kerja otomatis, dan observabilitas sebelum stack dipakai di luar tim uji coba. Yang sering diremehkan bukan pemasangannya, tetapi perawatannya: pembaruan keamanan, backup, pemantauan server, dan mengikuti rilis baru yang cepat sekali datang di proyek AI. ## Pertanyaan yang sering diajukan ### Apakah stack open-source pasti lebih murah dari layanan AI cloud? Belum tentu. Perangkat lunaknya gratis, tetapi server GPU, waktu tim untuk merawat, dan listrik atau sewa server tetap ada biayanya. Stack sendiri biasanya menarik karena kendali atas data dan fleksibilitas, sedangkan hitungan biayanya perlu dibandingkan dengan volume pemakaianmu. ### Bisakah stack ini memakai model cloud dan model lokal sekaligus? Bisa, dan justru itu salah satu alasan memakai gateway. Pertanyaan berisi data sensitif bisa diarahkan ke model lokal, sementara tugas umum diarahkan ke API cloud, dengan aturan yang diatur di satu tempat. ### Apakah semua komponen harus di satu server? Tidak harus. Untuk uji coba, satu server cukup. Untuk produksi, runtime model yang butuh GPU biasanya dipisah dari komponen ringan seperti antarmuka chat, gateway, dan database. ## Sumber - - - - - - - - - - - - - --- Diterbitkan oleh Nivelva Insight (https://nivelva.com/insight/). Artikel ini: https://nivelva.com/insight/stack-ai-open-source-perusahaan Kontak Nivelva: WhatsApp https://wa.me/6285111245007, email hello@nivelva.com