Apa Itu Distilasi Model AI dan Kenapa Hasilnya Murah?

Distilasi model AI adalah cara melatih model kecil dengan "mencontek" model besar. Model besar berperan sebagai guru, model kecil sebagai murid. Murid tidak hanya belajar dari data mentah, tetapi dari jawaban dan pola peluang yang dihasilkan guru. Hasilnya model yang jauh lebih ringan, tetapi bisa mempertahankan sebagian besar kemampuan guru untuk tugas tertentu.

Kenapa ini perlu kamu pahami? Banyak model murah yang kamu temui, baik di API maupun yang bisa dijalankan sendiri, lahir dari proses ini. Kalau salah membaca kemampuannya, kamu bisa memakai model distilasi untuk tugas yang terlalu berat, lalu kecewa dengan hasilnya. Sebaliknya, kalau terlalu ragu, kamu membayar model besar untuk pekerjaan yang sebenarnya cukup ditangani model kecil.

Bagaimana distilasi bekerja?

Ide dasarnya dipopulerkan dalam makalah Distilling the Knowledge in a Neural Network oleh Hinton dan rekan (2015). Mereka menunjukkan bahwa model kecil belajar lebih efektif bila meniru distribusi peluang keluaran model besar, bukan hanya label benar atau salah.

Belajar dari "jawaban lunak"

Saat model guru menjawab, ia sebenarnya menghitung peluang untuk banyak kemungkinan. Untuk gambar kucing, guru mungkin yakin 90 persen itu kucing, 8 persen harimau, dan 2 persen anjing. Informasi "kucing agak mirip harimau" ini ikut diajarkan ke murid. Label biasa hanya bilang "kucing", tanpa nuansa. Karena itu murid bisa belajar lebih banyak dari data yang sama.

Distilasi pada model bahasa

Untuk model bahasa besar (LLM), distilasi umumnya dilakukan dengan dua cara. Pertama, murid dilatih meniru peluang token berikutnya dari guru (butuh akses ke bagian dalam model guru). Kedua, guru diminta menghasilkan banyak contoh jawaban, lalu murid dilatih dengan contoh itu, mirip fine-tuning biasa. Cara kedua lebih sederhana dan banyak dipakai.

Contoh yang terdokumentasi terbuka adalah rilis DeepSeek-R1. Selain model utamanya, DeepSeek merilis beberapa model lebih kecil berbasis Qwen dan Llama yang dilatih dengan data penalaran hasil model R1. Laporan teknis Gemma 2 dari Google juga menyebut model yang lebih kecil dalam keluarga itu dilatih dengan distilasi dari model yang lebih besar.

Kenapa model hasil distilasi lebih murah?

Biaya menjalankan model bahasa sangat ditentukan oleh jumlah parameternya. Setiap token yang dihasilkan membutuhkan perhitungan yang melibatkan semua parameter aktif, dan semua parameter itu harus muat di memori. Model 8 miliar parameter membutuhkan memori dan komputasi jauh lebih kecil dibanding model ratusan miliar parameter. Arti angka-angka ini dijelaskan di arti 7B, 70B, dan 400B pada model AI.

Dampaknya terasa di tiga tempat:

• Harga API. Penyedia bisa melayani lebih banyak permintaan dengan perangkat yang sama, sehingga tarif per token model kecil jauh lebih rendah.
• Kecepatan. Model kecil menghasilkan token lebih cepat, cocok untuk chatbot dan otomasi yang butuh respons instan.
• Bisa dijalankan sendiri. Model kecil muat di GPU kelas konsumen, bahkan bisa berjalan di CPU untuk kebutuhan ringan.

Yang mahal justru proses membuatnya, karena butuh model guru yang kuat dan banyak data. Tetapi biaya itu ditanggung sekali oleh pembuat model. Pemakai hanya menikmati biaya operasional yang rendah.

Distilasi, kuantisasi, dan teknik lain

Distilasi sering tertukar dengan teknik penghematan lain. Bedanya ada pada apa yang diubah.

Teknik ini bisa digabung. Model hasil distilasi yang kemudian dikuantisasi ke Q4 adalah kombinasi yang umum untuk dijalankan di server kecil. Penjelasan kuantisasi ada di apa itu kuantisasi model AI.

Kapan model distilasi cukup, kapan butuh model besar

Model distilasi cocok untuk tugas yang polanya jelas dan berulang: mengklasifikasi pesan pelanggan, meringkas dokumen pendek, mengekstrak data dari teks, menerjemahkan kalimat sederhana, atau menjawab pertanyaan dari dokumen yang sudah disiapkan lewat RAG. Untuk pekerjaan seperti ini, selisih kualitas dengan model besar sering tidak terasa, sementara selisih biaya dan kecepatannya besar.

Model besar tetap lebih tepat untuk penalaran panjang, kode yang rumit, analisis dengan banyak langkah, atau tugas yang butuh pengetahuan umum luas. Murid hanya bisa sebagus apa yang sempat diajarkan, dan biasanya kemampuan yang jarang muncul di data latih adalah yang paling cepat hilang. Model kecil juga lebih mudah salah pada pertanyaan di luar topik yang dilatihkan.

Cara paling aman memutuskan adalah menguji. Siapkan 20 sampai 50 contoh tugas nyata dari pekerjaanmu, jalankan di model kecil dan model besar, lalu bandingkan hasilnya. Panduan memilih ukuran ada di model AI kecil vs besar.

Perlukah bisnis mendistilasi model sendiri?

Untuk sebagian besar bisnis, tidak. Pilihan model kecil siap pakai sudah banyak, dan biasanya lebih praktis memilih salah satunya lalu memperbaiki hasil lewat prompt atau RAG. Distilasi sendiri masuk akal bila kamu punya volume permintaan sangat besar untuk satu tugas sempit, sudah punya data yang memadai, dan punya tim yang bisa melatih serta mengevaluasi model. Pertimbangan antara fine-tuning, RAG, dan prompt dibahas di fine-tuning, RAG, atau prompt.