Lewati ke isi

AI & Otomasi

Melayani Telepon Pelanggan Otomatis dengan AI Voice Agent

Cara kerja AI voice agent untuk telepon, dari speech-to-text sampai suara balasan, soal jeda dan bahasa Indonesia, contoh pemakaian, biaya, dan batasnya.

Terbit 5 menit baca

Jawaban singkat

AI voice agent mengangkat telepon, memahami ucapan, lalu menjawab dengan suara lewat rangkaian speech-to-text, model bahasa, dan text-to-speech, atau satu model suara langsung. Cocok untuk reservasi dan pengingat. Uji jeda respons dan bahasa Indonesia sebelum dipakai.

Daftar isi
  1. Tiga komponen di balik satu panggilan
  2. Pilihan arsitektur dalam satu tabel
  3. Jeda dan bahasa Indonesia menentukan pengalaman
  4. Untuk apa voice agent paling masuk akal?
  5. Biaya dan batas yang perlu dihitung

Jam tujuh malam, telepon klinikmu berdering terus. Resepsionis sudah pulang, dan yang menelepon kebanyakan menanyakan hal yang sama: jadwal dokter, cara daftar, dan apakah besok masih ada slot. Besok paginya, ada belasan panggilan tak terjawab, dan sebagian penelepon sudah pindah ke klinik lain.

Situasi seperti ini yang ingin diselesaikan AI voice agent. Ia mengangkat telepon, mendengarkan, memahami maksud penelepon, lalu menjawab dengan suara, bahkan bisa mencatat janji temu ke sistem. Teknologinya sudah cukup matang untuk tugas yang terstruktur, tapi belum untuk semua jenis percakapan. Memahami cara kerjanya membantu kamu menilai di mana ia cocok.

Tiga komponen di balik satu panggilan

Banyak voice agent bekerja dengan rangkaian yang bisa digambarkan sederhana. Pertama, speech-to-text mengubah ucapan penelepon menjadi teks. Kedua, model bahasa membaca teks itu, memutuskan jawaban, dan bila perlu memanggil sistem lain, misalnya mengecek jadwal atau membuat pesanan. Ketiga, text-to-speech mengubah jawaban teks menjadi suara yang diputar ke penelepon.

Ada komponen keempat yang sering dilupakan: pengatur giliran bicara. Sistem harus tahu kapan penelepon selesai bicara, kapan ia sekadar berhenti sejenak, dan apa yang harus dilakukan bila penelepon memotong. Dokumentasi ElevenLabs, misalnya, menyebut platform agennya memadukan model speech-to-text, model bahasa pilihan pengguna, model text-to-speech, dan model khusus pengatur giliran bicara.

Selain rangkaian bertahap itu, ada pendekatan speech-to-speech: satu model menerima audio, memahami, dan langsung menjawab dalam audio. Dokumentasi OpenAI menjelaskan Realtime API bekerja dengan cara ini, di mana satu sesi menangani giliran bicara, pemanggilan alat, interupsi, dan pengalihan. Sebaliknya, OpenAI menulis rangkaian bertahap memberi kendali atas setiap tahap: kamu bisa menyimpan transkrip, menjalankan pemeriksaan kebijakan, dan memanggil sistem internal sebelum suara dibuat.

Untuk masuk ke jaringan telepon, agen perlu disambungkan ke penyedia telepon. ElevenLabs mencantumkan integrasi Twilio, SIP trunk untuk sistem telepon yang sudah ada, dan panggilan keluar massal yang dipicu lewat program.

Pilihan arsitektur dalam satu tabel

AspekRangkaian bertahap (STT, model bahasa, TTS)Speech-to-speech
Cara kerjaTiga atau empat komponen terpisahSatu model untuk audio masuk dan keluar
Kendali per tahapTinggi, teks antara bisa diperiksa dan diubahLebih terbatas
Transkrip dan auditMudah disimpan di setiap tahapTergantung fitur platform
Ganti komponenBisa satu per satu, misalnya ganti suara sajaSatu paket
Jeda responsBertambah di setiap tahap, perlu diukurBerpotensi lebih ringkas, tetap perlu diukur
Cocok untukLayanan dengan aturan ketat dan kebutuhan auditPercakapan yang mengutamakan kelancaran

Jeda dan bahasa Indonesia menentukan pengalaman

Di telepon, diam dua detik terasa lama. Penelepon mengira sambungan putus, lalu mengulang pertanyaan atau menutup telepon. Karena itu, jeda respons adalah ukuran kualitas yang paling terasa.

OpenAI menyarankan mengukur berapa lama penelepon menunggu sampai mendapat jawaban yang berguna, memisahkan waktu proses di sistem belakang, dan membandingkan nilai median dengan persentil ke-95, bukan hanya rata-rata. Ucapan pengisi seperti "sebentar, saya cek dulu" juga perlu diukur terpisah dari jawaban yang sebenarnya dibutuhkan penelepon. Pengisi membantu, tapi tidak menggantikan jawaban yang cepat.

Untuk bahasa Indonesia, jangan berhenti di daftar bahasa yang didukung. Platform bisa mencantumkan puluhan bahasa, tapi pengenalan ucapan untuk logat daerah, campuran bahasa Indonesia dan Inggris, nama orang, alamat, dan angka bisa sangat berbeda kualitasnya. Uji dengan rekaman panggilan nyata dari pelanggan, dari HP dengan sinyal biasa, di tempat yang agak bising. Perhatikan juga suara balasannya: apakah pelafalan nama produk dan angka terdengar wajar, dan apakah intonasinya sopan untuk budaya pelangganmu.

Untuk apa voice agent paling masuk akal?

Voice agent paling berhasil di tugas yang alurnya jelas dan hasilnya bisa dicek:

Reservasi dan janji temu. Menanyakan nama, tanggal, jam, dan layanan, lalu mencatatnya ke sistem jadwal. Agen perlu akses ke data slot yang selalu terbaru.

Pengingat dan konfirmasi. Panggilan keluar untuk mengingatkan janji besok, jatuh tempo pembayaran, atau konfirmasi pengiriman, dengan pilihan jawaban sederhana.

Pertanyaan umum. Jam buka, lokasi, syarat, dan status pesanan. Jawaban sebaiknya diambil dari basis pengetahuan resmi, dengan cara yang mirip chatbot AI dari dokumen perusahaan.

Penyaringan awal. Menanyakan keperluan, lalu meneruskan ke bagian yang tepat atau menjadwalkan panggilan balik dari manusia.

Yang sebaiknya tetap ditangani manusia: keluhan berat, negosiasi, situasi darurat, dan percakapan yang menyangkut keputusan penting bagi penelepon. Sediakan selalu jalan keluar, misalnya "tekan 0 atau ucapkan 'operator'" untuk berbicara dengan petugas. Bila pelangganmu lebih banyak memakai chat, otomasi lewat WhatsApp API dengan WAHA bisa jadi langkah awal yang lebih sederhana.

Biaya dan batas yang perlu dihitung

Biaya voice agent biasanya terdiri dari beberapa komponen: pemakaian model speech-to-text, model bahasa, dan text-to-speech (atau model suara langsung), ditambah biaya penyedia telepon untuk nomor dan durasi panggilan. Bila memakai platform agen, sebagian komponen ini digabung dalam satu tagihan. Struktur harganya berbeda di setiap penyedia dan sering berubah, jadi hitung dengan halaman harga resmi masing-masing memakai perkiraan jumlah dan durasi panggilanmu.

Bila kamu merakit rangkaian sendiri, ada juga biaya server untuk menjalankan logika agen, menyimpan transkrip, dan menghubungkan ke sistem internal. Server ini sebaiknya dekat secara jaringan dengan penyedia layanan suara agar jeda tidak bertambah. Panduan memilih ukurannya ada di memilih spesifikasi VPS.

Batas lain yang perlu disadari: model bahasa bisa salah paham atau mengarang jawaban, jadi langkah penting seperti pembatalan atau pembayaran perlu dikonfirmasi ulang. Rekaman dan transkrip panggilan berisi data pribadi, sehingga penyimpanannya tunduk pada UU PDP. Beri tahu penelepon sejak awal bahwa mereka berbicara dengan asisten otomatis dan bahwa panggilan direkam bila memang direkam. Gambaran aturannya ada di regulasi AI di Indonesia.

Ringkasnya, AI voice agent cocok untuk panggilan berulang yang alurnya jelas, seperti reservasi, pengingat, dan pertanyaan umum. Pilih arsitektur sesuai kebutuhan kendali dan audit, ukur jeda dengan panggilan nyata, uji bahasa Indonesia dengan logat pelangganmu, dan selalu sediakan jalur ke manusia.

Sumber & referensi

Baca juga