Cara Pasang LiteLLM sebagai Router Banyak Model AI
Pasang LiteLLM Proxy dengan Docker agar aplikasi memanggil OpenAI, Anthropic, Ollama, dan vLLM lewat satu API, lengkap dengan...
6 menit baca
3 artikel tentang litellm di Nivelva Insight.
Pasang LiteLLM Proxy dengan Docker agar aplikasi memanggil OpenAI, Anthropic, Ollama, dan vLLM lewat satu API, lengkap dengan...
6 menit baca
Cara membuat aplikasi AI tetap jalan saat satu provider error atau kena rate limit, dengan retry, model cadangan, cooldown, dan...
5 menit baca
Cara memisahkan dan membatasi biaya API AI per tim atau aplikasi lewat workspace, project, rate limit, dan gateway seperti...
6 menit baca