Apa Itu Mixture of Experts pada Model AI?

Mixture of Experts (MoE) adalah cara menyusun model AI supaya tidak semua bagiannya bekerja setiap saat. Model dibagi menjadi banyak sub-jaringan yang disebut expert, dan sebuah router memilih beberapa expert saja untuk memproses setiap token.

Kenapa ini penting? Karena banyak model open-weight besar yang ramai dibicarakan sekarang memakai MoE. Kalau kamu membaca spesifikasi seperti "671B total, 37B aktif" dan bingung angka mana yang menentukan biaya dan kebutuhan server, jawabannya ada di cara kerja MoE.

Bagaimana cara kerja Mixture of Experts?

Model bahasa modern (transformer) tersusun dari banyak lapisan. Di setiap lapisan ada bagian perhatian (attention) dan bagian jaringan feed-forward. Pada model biasa, yang disebut model dense, setiap token melewati seluruh jaringan feed-forward di setiap lapisan.

Pada model MoE, jaringan feed-forward itu diganti dengan sekumpulan expert. Alurnya kira-kira begini:

Pemilihan ini terjadi untuk setiap token di setiap lapisan MoE. Jadi dalam satu kalimat, kata yang berbeda bisa lewat kombinasi expert yang berbeda.

Idenya sendiri sudah lama ada di riset jaringan saraf. Bentuk yang menjadi dasar model bahasa besar sekarang dipopulerkan oleh makalah Google tahun 2017 tentang lapisan MoE yang "sparsely-gated", yaitu hanya sebagian kecil expert yang aktif setiap kali.

Apakah setiap expert ahli di topik tertentu?

Tidak dalam arti yang sering dibayangkan. Nama "expert" membuat orang mengira ada expert khusus matematika, expert khusus bahasa Indonesia, dan seterusnya. Kenyataannya, pembagian kerja dipelajari sendiri oleh model selama pelatihan dan cenderung terkait pola token, bukan topik yang rapi.

Dalam makalah Mixtral 8x7B, misalnya, tim Mistral AI melaporkan bahwa mereka tidak menemukan pola pembagian expert yang jelas berdasarkan topik. Pola yang terlihat lebih terkait sintaks dan struktur teks. Jadi lebih tepat menganggap expert sebagai "jalur hitung alternatif", bukan pakar bidang.

Apa arti parameter total dan parameter aktif?

Ini bagian yang paling sering membingungkan pembaca spesifikasi model.

• Parameter total adalah jumlah semua bobot di model, termasuk seluruh expert.
• Parameter aktif adalah bobot yang benar-benar dipakai untuk memproses satu token.

Contoh dari laporan teknis resmi:

Perhatikan bahwa total Mixtral 8x7B bukan 56 miliar parameter (8 kali 7). Bagian attention dan beberapa komponen lain dipakai bersama oleh semua expert, sehingga totalnya lebih kecil dari perkalian sederhana itu. Penjelasan dasar soal angka seperti 7B dan 70B ada di arti angka 7B, 70B, dan 400B.

Apa untungnya MoE dibanding model dense?

Keuntungan utama ada di biaya hitung. Jumlah perhitungan per token kira-kira mengikuti parameter aktif, bukan parameter total. Model MoE dengan total ratusan miliar parameter bisa menghasilkan token dengan biaya hitung yang mendekati model dense yang jauh lebih kecil.

Analogi sederhananya seperti dapur restoran besar. Ada banyak juru masak, tetapi setiap pesanan hanya dikerjakan dua atau tiga orang yang paling cocok. Restoran bisa punya banyak keahlian sekaligus tanpa setiap pesanan harus melewati semua juru masak. Analogi ini tidak sempurna, karena pembagian di model tidak serapi pembagian di dapur, tetapi cukup untuk menggambarkan kenapa biaya per pesanan tetap terkendali.

Bagi pembuat model, ini berarti kapasitas pengetahuan bisa ditambah tanpa memperlambat setiap jawaban secara sebanding. Bagi pengguna API, efeknya sering terasa di harga per token dan kecepatan yang lebih bersahabat untuk model kelas besar, meskipun harga akhir tetap ditentukan masing-masing penyedia.

Apa kelemahannya?

Ada tiga hal yang perlu kamu tahu, terutama kalau berencana menjalankan model sendiri.

1. Semua expert tetap harus dimuat ke memori. Router bisa memilih expert mana pun untuk token berikutnya, jadi seluruh parameter total harus siap di VRAM atau RAM. Model 671B dengan 37B aktif tetap butuh memori untuk 671B, bukan 37B.
2. Pelatihan lebih rumit. Router harus diajari membagi beban agar tidak semua token menumpuk di beberapa expert favorit. Ini urusan pembuat model, tetapi menjelaskan kenapa MoE sempat lebih jarang dipakai.
3. Penyajian di banyak GPU lebih kompleks. Pada skala besar, expert sering tersebar di beberapa GPU, sehingga komunikasi antar-GPU ikut menentukan kecepatan.

Cara menghitung kebutuhan memori dijelaskan di berapa VRAM GPU yang dibutuhkan untuk LLM, dan pengaruh kuantisasi seperti Q4 dan Q8 dibahas di apa itu kuantisasi model AI.

Apa artinya bagi pengguna bisnis?

Kalau kamu memakai AI lewat aplikasi chat atau API, MoE hampir tidak mengubah cara kerjamu. Kamu tetap menulis prompt dan membayar per token. Yang perlu diingat hanya satu: ukuran parameter total tidak bisa langsung dibandingkan antara model MoE dan model dense. Bandingkan model dari hasil uji pada pekerjaanmu sendiri, harga, dan kecepatan.

Kalau kamu ingin menjalankan model open-weight di server sendiri, MoE menjadi pertimbangan serius. Model MoE bisa terasa cepat untuk ukurannya, tetapi tagihan memorinya tetap mengikuti ukuran penuh. Untuk tim kecil, model dense ukuran sedang atau model MoE yang total parameternya kecil sering lebih realistis daripada mengejar model raksasa.