Chatbot AI dari Dokumen Perusahaan: Cara Kerja RAG

Seorang staf baru bertanya ke ChatGPT bagaimana alur retur barang di kantormu. Jawabannya rapi, percaya diri, dan sama sekali tidak sesuai SOP gudang. Model AI umum memang pintar, tapi ia tidak pernah membaca daftar harga terbarumu, kebijakan cutimu, atau dokumen internal lain. Jadi ia menebak.

Jalan keluarnya adalah chatbot yang menjawab dari dokumen perusahaan sendiri, dengan teknik yang disebut RAG (retrieval-augmented generation). Sebelum menjawab, sistem mencari bagian dokumen yang relevan, lalu model AI menyusun jawaban berdasarkan bagian itu saja.

Apa itu RAG, dan kenapa bukan melatih ulang model?

RAG adalah cara memberi model AI "bahan bacaan" tepat pada saat ia menjawab. Modelnya tidak dilatih ulang. Ia hanya menerima potongan dokumen yang paling cocok dengan pertanyaan, lalu diminta menjawab dari potongan tersebut.

Dibanding melatih ulang (fine-tuning), yang mengubah model itu sendiri dan lebih mahal serta sulit diperbarui, RAG punya tiga kelebihan. Pertama, mudah diperbarui: ganti dokumennya, jawaban ikut berubah tanpa proses pelatihan. Kedua, chatbot bisa menyebut dokumen mana yang dipakai, sehingga jawabannya bisa dicek. Ketiga, lebih hemat, karena yang dibutuhkan hanya penyimpanan indeks dan pemanggilan model biasa.

Kalau istilah model bahasa masih asing, baca dulu apa itu LLM untuk bisnis.

Dari tumpukan PDF sampai jawaban di layar chat

Prosesnya terbagi dua tahap: menyiapkan dokumen, lalu menjawab pertanyaan.

Di tahap persiapan, PDF, dokumen teks, atau halaman web diunggah ke sistem. Dokumen panjang dipecah menjadi potongan kecil (chunk), misalnya per beberapa paragraf. Setiap potongan lalu diubah menjadi embedding, yaitu deretan angka yang mewakili maknanya, dan disimpan di database vektor.

Saat ada pertanyaan masuk, pertanyaan itu juga diubah menjadi embedding dan dicocokkan dengan potongan yang maknanya paling dekat. Potongan terpilih dikirim ke model AI bersama pertanyaan, dengan instruksi untuk menjawab hanya dari bahan itu.

Karena pencocokannya memakai makna, bukan kata yang persis sama, pertanyaan "berapa hari jatah cuti?" tetap bisa menemukan paragraf yang menulis "karyawan berhak atas 12 hari libur tahunan".

Satu hal yang sering ditanyakan: apakah ini butuh GPU? Tidak, bila model AI dipakai lewat API penyedia. Server cukup menjalankan aplikasi dan menyimpan indeks dokumen.

Pemakaian yang masuk akal untuk usaha kecil sampai menengah

Contoh paling umum adalah asisten SOP internal. Staf baru bisa bertanya cara proses retur atau alur persetujuan, dan chatbot menjawab dari dokumen SOP. Tim penjualan juga terbantu: spesifikasi produk, syarat garansi, dan daftar harga bisa ditanyakan tanpa membuka banyak file.

Untuk pelanggan, chatbot bisa menangani FAQ dari dokumen resmi, sementara kasus rumit diteruskan ke manusia. Tim legal atau operasional bisa menanyakan poin tertentu dari kontrak dan kebijakan yang panjang, lalu mengecek bagian aslinya.

Tetap ada batasnya. Untuk hal yang berisiko, seperti harga penawaran, pasal kontrak, atau informasi kesehatan dan hukum, jadikan jawaban chatbot sebagai titik awal saja. Chatbot bukan pengganti pemeriksaan manusia, jadi cek ke dokumen asli sebelum dipakai.

Open WebUI atau Langflow, mana yang cocok?

Pilihannya tergantung siapa penggunanya.

Open WebUI cocok untuk chatbot internal tim. Ia adalah antarmuka chat mirip ChatGPT yang bisa dipasang di server sendiri, multi-user, dan mendukung RAG dokumen. Dokumen bisa diunggah langsung ke percakapan atau dikumpulkan dalam koleksi pengetahuan agar dipakai berulang. Ulasan lengkapnya ada di artikel Open WebUI sebagai ChatGPT sendiri.

Langflow cocok bila chatbot ingin ditanam ke aplikasi lain, misalnya website atau sistem internal. Di sini kamu merakit alur RAG secara visual (pemuat dokumen, pemecah teks, embedding, database vektor, model), lalu alur itu bisa dipanggil sebagai API.

Keduanya membutuhkan model AI. Umumnya kamu menghubungkan API key dari penyedia model pilihanmu, atau lewat AI gateway bila memakai beberapa penyedia. Penjelasannya ada di artikel apa itu AI gateway.

Di Nivelva Apps, Open WebUI dan Langflow bisa dipasang sekali klik. Aplikasi berjalan di server terisolasi khusus untukmu, dengan alamat namamu.nivelva.app dan SSL otomatis, dan domain sendiri bisa ditambahkan kapan saja. Paket minimal untuk keduanya sama: Enterprise dengan 2 vCPU dan RAM 4 GB, seharga Rp50.000 per bulan (mengikuti halaman Apps saat artikel ini ditulis).

Biaya itu adalah biaya server. Pemakaian model AI dibayar ke penyedia model sesuai API key yang kamu hubungkan. Pengelolaan dilakukan lewat panel (restart, update, log, pantauan CPU dan RAM), tanpa akses SSH. Backup harian tersedia sebagai add-on berbayar, dan sangat disarankan karena indeks dokumen dan riwayat chat adalah data penting.

Akurasi ditentukan dokumen, bukan modelnya

Kualitas chatbot dokumen lebih banyak bergantung pada dokumennya daripada pada modelnya.

Mulailah dengan merapikan dokumen sumber. Hapus versi lama yang bertentangan, sehingga satu topik hanya punya satu dokumen yang berlaku. Judul dan subjudul yang jelas membantu potongan dokumen lebih mudah ditemukan.

Perhatikan juga PDF hasil scan. Dokumen berupa gambar perlu diubah menjadi teks (OCR) dulu agar bisa dibaca, sedangkan PDF teks, file teks, dan halaman web umumnya bisa langsung dipakai.

Beri instruksi tegas agar chatbot menjawab "tidak tahu" bila jawabannya tidak ada di dokumen. Sebelum dipakai tim, siapkan 20 sampai 30 pertanyaan nyata dan cek jawabannya satu per satu.

Terakhir, atur hak akses. Jangan masukkan dokumen gaji atau data pribadi ke koleksi yang bisa diakses semua pengguna.

Singkatnya, RAG membuat chatbot menjawab dari dokumenmu sendiri tanpa melatih ulang model. Pilih Open WebUI untuk chat internal tim, atau Langflow bila chatbot perlu ditanam ke website atau aplikasi lewat API. Apa pun alatnya, dokumen yang rapi adalah kunci jawaban yang akurat.