Perutean + terjemahan litellm dalam ~2.900 baris dan 2 dependensi (openai, httpx). litellm merutekan panggilan LLM antar penyedia dan menerjemahkan antar format pesan. Inti tersebut terkubur di bawah 100k+ LOC server proxy, lapisan caching, pelacakan biaya, dan puluhan fitur yang tidak pernah disentuh sebagian besar pengguna.

litelm hanya mengekstrak jalur panggilan — perutean model, terjemahan pesan, streaming, penggunaan alat, embedding — dan tidak ada yang lain. Tanpa kelas Router, tanpa proxy, tanpa caching. Instalasi: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # semuanya.

Penggunaan: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). Setiap fungsi memiliki varian async: acompletion, aembedding, aresponses, atext_completion. API mencerminkan litellm — nama fungsi sama, argumen sama, tipe respons sama. Beralih cukup s/litellm/litelm/ di impor Anda.

Yang termasuk: Perutean model, terjemahan pesan (Anthropic, Bedrock, Cloudflare, Mistral), streaming + stream_chunk_builder, penggunaan alat, embedding, penyelesaian teks, OpenAI Responses API, respons tiruan. Yang tidak termasuk: Router (penyeimbangan beban, fallback), server proxy, caching/anggaran/pelacakan biaya, penghitungan token, pembuatan gambar, audio, OCR, fine-tuning, agen, guardrails, penjadwal. Merutekan ke 19 penyedia melalui sintaks "provider/model-name". Endpoint apa pun yang kompatibel dengan OpenAI berfungsi melalui api_base. Semua kesalahan penyedia dipetakan ke hierarki pengecualian litelm. litelm adalah perangkat lunak yang diarahkan manusia dan dibantu AI.

Entitas Utama: Perusahaan: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | Lokasi: Paris