Cara Kerja dan Batas Voicebot AI untuk Call Center

Seorang pelanggan menelepon nomor layanan untuk menanyakan status pengiriman. Biasanya ia mendengar menu "tekan 1 untuk..." lalu menunggu agen. Dengan voicebot AI, ia cukup bilang "paket saya sudah sampai mana, ya?", menyebut nomor pesanan, dan mendapat jawaban dalam suara yang terdengar wajar. Kalau masalahnya rumit, panggilan diteruskan ke agen.

Itu gambaran idealnya. Dalam praktik, voicebot adalah rangkaian beberapa sistem yang masing-masing bisa menambah jeda dan kesalahan. Memahami rangkaian itu membantu kamu menilai apakah voicebot cocok untuk call center-mu, dan di bagian mana harapan perlu diturunkan.

Empat komponen di balik satu percakapan

Kebanyakan voicebot memakai alur yang mirip, meski vendornya berbeda.

Pertama, jaringan telepon. Panggilan dari nomor biasa masuk lewat operator atau penyedia telepon internet (SIP), lalu audionya dialirkan ke server voicebot. Framework open-source untuk agen suara umumnya menyediakan penghubung ke penyedia telepon. Pipecat, misalnya, mencantumkan integrasi dengan beberapa penyedia telepon di repositorinya, dan LiveKit Agents menyebut dukungan telepon lewat tumpukan SIP milik LiveKit.

Kedua, speech-to-text (STT), yang mengubah suara penelepon menjadi teks. Contoh yang banyak dikenal adalah Whisper dari OpenAI, model pengenal suara multibahasa yang kodenya terbuka. Selain model yang dijalankan sendiri, banyak penyedia STT berbasis cloud yang bisa dipakai lewat API.

Ketiga, model bahasa (LLM), yang membaca teks hasil STT, memahami maksudnya, mengambil data bila perlu (misalnya status pesanan dari sistem), lalu menyusun jawaban. Bagian ini sama dengan chatbot teks, termasuk teknik menjawab dari dokumen perusahaan seperti di chatbot AI dari dokumen perusahaan, hanya jawabannya perlu lebih pendek karena akan diucapkan.

Keempat, text-to-speech (TTS), yang mengubah jawaban menjadi suara dan mengirimkannya kembali ke penelepon.

Ada juga model speech-to-speech yang langsung menerima dan menghasilkan suara tanpa tahap teks yang terpisah. Beberapa framework sudah mendukungnya. Pendekatan ini bisa memangkas jeda, tetapi lebih sulit dikendalikan dan diaudit karena tidak ada teks antara yang jelas, dan pilihan modelnya lebih terbatas.

Kenapa jeda respons jadi tantangan terbesar?

Dalam obrolan teks, jeda dua atau tiga detik tidak terasa. Di telepon, jeda yang sama terasa seperti sambungan putus. Orang biasanya mengisi jeda dengan "halo? halo?", yang lalu ikut ditangkap STT dan membingungkan bot.

Jeda total adalah jumlah dari semua tahap: STT menunggu penelepon selesai bicara, LLM berpikir, TTS menyiapkan suara, ditambah perjalanan data di jaringan. Karena itu, sistem yang baik memproses secara mengalir (streaming): STT mengirim teks sepotong demi sepotong, LLM mulai menjawab sebelum selesai berpikir penuh, dan TTS mulai bicara dari kalimat pertama.

Ada pula masalah giliran bicara. Bot harus menebak kapan penelepon selesai, bukan sekadar berhenti sejenak untuk mengingat nomor pesanan. Terlalu cepat, bot memotong. Terlalu lambat, terasa canggung. LiveKit Agents, misalnya, menyebut penggunaan model transformer untuk deteksi giliran secara semantik guna mengurangi interupsi. Sebaliknya, penelepon juga sering memotong bot di tengah kalimat, dan bot harus bisa berhenti bicara lalu mendengarkan.

Letak server ikut berpengaruh. Server yang jauh dari penelepon dan dari penyedia model menambah waktu tempuh data di setiap putaran percakapan.

Aksen, bahasa campur, dan angka

Akurasi pengenal suara sangat bergantung pada bahasa. Repositori Whisper sendiri menyebut bahwa performanya sangat bervariasi antarbahasa, dan menampilkan tingkat kesalahan kata per bahasa. Artinya, hasil uji untuk bahasa Inggris tidak bisa dipakai untuk menilai bahasa Indonesia.

Untuk call center di Indonesia, ada beberapa hal yang membuat STT lebih sulit:

• Bahasa campur. Penelepon sering berpindah bahasa dalam satu kalimat: "Saya mau cancel order yang kemarin, soalnya double." Model yang dilatih per bahasa bisa salah tangkap di titik peralihan.
• Aksen dan bahasa daerah. Logat dan kosakata daerah yang ikut terselip menambah variasi yang mungkin jarang ada di data latih.
• Nama, alamat, dan angka. Nomor pesanan, nomor telepon, nama jalan, dan nama produk adalah bagian paling rawan, padahal justru paling penting. Bot sebaiknya selalu mengulang angka penting untuk konfirmasi: "Nomor pesananmu 4-7-2-1, betul?"
• Kualitas audio. Suara di jalan, di motor, atau lewat sinyal lemah menurunkan akurasi.

Cara paling jujur untuk menilai adalah merekam (dengan izin) contoh panggilan nyata, lalu mengujinya pada beberapa pilihan STT sebelum memutuskan.

Panggilan yang cocok dan yang tidak

Voicebot paling masuk akal untuk panggilan yang berulang, terstruktur, dan berisiko rendah: cek status pesanan atau pengiriman, konfirmasi dan pengingat jadwal janji temu, informasi jam operasional dan lokasi, survei singkat setelah layanan, dan pengumpulan data awal (nama, nomor pelanggan, keperluan) sebelum diteruskan ke agen.

Sebaliknya, voicebot kurang cocok untuk komplain yang emosional, negosiasi, penagihan yang sensitif, urusan kesehatan atau hukum, dan penelepon yang kesulitan berbicara dengan mesin, misalnya sebagian lansia. Di situ, kesalahan tafsir lebih mahal, dan nada suara manusia sering lebih penting dari kecepatan.

Apa pun jenis panggilannya, sediakan jalan keluar yang mudah ke agen, misalnya dengan mengucapkan "agen" atau menekan satu tombol. Pelanggan yang terjebak dengan mesin di telepon biasanya lebih kesal daripada di chat. Aturan kapan bot harus menyerah dan meneruskan percakapan dibahas di kapan chatbot harus menyerahkan chat ke agen manusia.

Hal teknis dan aturan yang sering terlupa

Panggilan telepon berisi suara dan data pribadi. Bila panggilan direkam atau ditranskripsi, beri tahu penelepon di awal, simpan rekaman dengan akses terbatas, dan tentukan berapa lama disimpan. Bila memakai layanan STT, LLM, atau TTS berbasis cloud, audio dan teksnya dikirim ke penyedia tersebut, jadi cek kebijakan datanya dan sesuaikan dengan aturan pelindungan data pribadi yang berlaku.

Dari sisi infrastruktur, framework seperti Pipecat (lisensi BSD-2-Clause) dan LiveKit Agents (lisensi Apache-2.0, sedangkan model deteksi gilirannya memakai LiveKit Model License tersendiri per 4 November 2026) bisa dijalankan di server sendiri, dengan komponen STT, LLM, dan TTS yang bisa dipilih dari penyedia cloud atau model lokal. Menjalankan model suara sendiri butuh sumber daya komputasi yang memadai, terutama GPU untuk STT dan TTS yang cepat. Server orkestrasi tanpa model lokal jauh lebih ringan karena hanya meneruskan audio dan teks ke API. Pertimbangan ukuran server dibahas di memilih spesifikasi VPS, dan pilihan model yang bisa dijalankan sendiri ada di model AI open-weight.

Voicebot AI sudah cukup matang untuk panggilan sederhana yang berulang, asalkan jeda dijaga pendek, angka penting selalu dikonfirmasi, dan agen manusia selalu bisa dijangkau. Uji dengan rekaman panggilan nyata dalam bahasa dan logat pelangganmu sendiri sebelum memutuskan, karena hasil demo jarang mewakili kondisi call center yang sebenarnya.