Stack AI Open-Source untuk Perusahaan: Komponennya

Proyek "kami mau AI sendiri" sering dimulai dengan satu server berisi model dan antarmuka chat. Lalu muncul kebutuhan berikutnya: memakai beberapa model, menjawab dari dokumen internal, mengatur siapa boleh memakai apa, dan mengetahui berapa biayanya serta seberapa sering jawabannya salah. Di titik itu satu server tadi mulai macet.

Stack AI open-source sebenarnya adalah beberapa perangkat lunak terpisah, masing-masing mengurus satu lapisan. Kalau lapisannya dipahami sejak awal, kamu bisa mulai kecil tanpa harus membongkar ulang nanti.

Semua proyek yang disebut di bawah aktif dikembangkan di GitHub per 4 November 2026. Ini contoh yang representatif, bukan daftar lengkap dan bukan peringkat.

Lapisan 1: runtime model, tempat model dijalankan

Runtime adalah perangkat lunak yang memuat model ke memori (CPU atau GPU) dan melayani permintaan, biasanya lewat API yang mirip format OpenAI.

• Ollama (lisensi MIT): paling sederhana untuk memulai, satu perintah untuk mengunduh dan menjalankan model. Cocok untuk pengembangan dan beban ringan.
• llama.cpp (lisensi MIT): mesin inferensi berbasis C/C++, dikenal untuk menjalankan model terkuantisasi di perangkat keras sederhana, termasuk CPU.
• vLLM (lisensi Apache-2.0): menggambarkan dirinya sebagai mesin inferensi dan serving dengan throughput tinggi dan hemat memori. Lebih cocok untuk server GPU yang melayani banyak pengguna bersamaan.

Model apa yang dijalankan adalah keputusan tersendiri. Pilihan model open-weight dan kebutuhan perangkat kerasnya dibahas di model AI open-weight yang bisa dijalankan sendiri.

Apa fungsi gateway di depan model?

Gateway adalah satu pintu untuk semua model, baik yang kamu jalankan sendiri maupun API dari penyedia cloud. Aplikasi cukup bicara dengan gateway, dan gateway yang meneruskan ke model yang tepat.

LiteLLM adalah contoh yang banyak dipakai. Repositorinya menyebut kemampuan memanggil lebih dari 100 API model dalam format OpenAI. Gateway semacam ini biasanya juga mengurus kunci API per tim, batas pemakaian, pencatatan biaya, dan pengalihan bila satu model gagal. Konsepnya dijelaskan lebih lengkap di apa itu AI gateway.

Untuk perusahaan, lapisan ini sering yang paling cepat terasa manfaatnya, karena mengganti model tidak lagi berarti mengubah kode di semua aplikasi.

Lapisan 3: vector database dan embedding

Kalau AI harus menjawab dari dokumen internal, dokumen itu dipotong, diubah menjadi vektor (embedding), dan disimpan di database yang bisa mencari berdasarkan kemiripan makna. Inilah dasar RAG.

• pgvector: ekstensi pencarian vektor untuk PostgreSQL. Pilihan praktis bila kamu sudah memakai PostgreSQL, karena tidak menambah sistem baru.
• Qdrant (lisensi Apache-2.0): vector database khusus dengan fitur filter dan pencarian yang kaya.
• Milvus (lisensi Apache-2.0): vector database yang dirancang untuk skala besar dan cloud-native.

Embedding sendiri butuh model. Bisa memakai runtime yang sama dengan model chat, atau server khusus seperti Text Embeddings Inference dari Hugging Face (lisensi Apache-2.0).

Lapisan 4: orkestrasi, tempat logika disusun

Orkestrasi mengatur alur: ambil pertanyaan, cari dokumen, susun prompt, panggil model, simpan hasil, kirim ke kanal lain. Bisa ditulis sebagai kode, atau disusun secara visual.

• Langflow (lisensi MIT): penyusun alur dan agen AI secara visual. Contohnya ada di Langflow: alur AI tanpa coding.
• n8n: platform otomasi alur kerja yang menyebut dirinya fair-code, dengan kemampuan AI bawaan. Cocok bila AI hanya satu langkah dalam alur bisnis yang lebih panjang, misalnya merangkum email lalu mencatatnya ke CRM.

Lapisan 5: antarmuka chat untuk karyawan

Ini bagian yang dilihat pengguna. Open WebUI adalah antarmuka chat yang mendukung Ollama dan API berformat OpenAI, sehingga bisa disambungkan ke runtime lokal maupun ke gateway. Fitur seperti akun pengguna, riwayat percakapan, dan unggah dokumen membuatnya sering dipakai sebagai "ChatGPT internal". Panduannya ada di Open WebUI: chat AI di server sendiri.

Kenapa observabilitas tidak boleh dilewatkan?

Tanpa observabilitas, kamu tidak tahu pertanyaan apa yang paling sering diajukan, jawaban mana yang salah, berapa lama model merespons, atau tim mana yang memakai token paling banyak.

Langfuse menggambarkan dirinya sebagai platform evaluasi dan observabilitas agen, untuk merekam jejak (trace), mengevaluasi, dan memperbaiki aplikasi LLM. Phoenix dari Arize juga berfokus pada observabilitas dan evaluasi AI. Keduanya merekam setiap langkah, dari prompt sampai jawaban, sehingga kesalahan bisa ditelusuri.

Ringkasan lapisan dan arsitektur awal

Arsitektur awal yang masuk akal untuk kebanyakan perusahaan cukup tiga atau empat komponen: antarmuka chat, gateway, satu runtime model (atau API cloud lewat gateway), dan PostgreSQL dengan pgvector bila perlu RAG. Semua bisa dijalankan sebagai container, sehingga mudah dipindah dan diperbarui. Tambahkan orkestrasi ketika muncul alur kerja otomatis, dan observabilitas sebelum stack dipakai di luar tim uji coba.

Yang sering diremehkan bukan pemasangannya, tetapi perawatannya: pembaruan keamanan, backup, pemantauan server, dan mengikuti rilis baru yang cepat sekali datang di proyek AI.