litellms Routing + Übersetzung in ~2.900 Zeilen und 2 Abhängigkeiten (openai, httpx). litellm leitet LLM-Aufrufe über Anbieter hinweg und übersetzt zwischen Nachrichtenformaten. Dieser Kern ist unter 100k+ LOC von Proxy-Servern, Caching-Schichten, Kostenverfolgung und Dutzenden von Funktionen begraben, die die meisten Benutzer nie berühren.

litelm extrahiert nur den Aufrufpfad — Modell-Routing, Nachrichtenübersetzung, Streaming, Tool-Nutzung, Embeddings — und nichts anderes. Keine Router-Klasse, kein Proxy, kein Caching. Installation: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # alles.

Verwendung: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). Jede Funktion hat eine asynchrone Variante: acompletion, aembedding, aresponses, atext_completion. Die API spiegelt litellm wider — gleiche Funktionsnamen, gleiche Argumente, gleiche Antworttypen. Umstellung ist s/litellm/litelm/ in Ihren Imports.

Was enthalten ist: Modell-Routing, Nachrichtenübersetzung (Anthropic, Bedrock, Cloudflare, Mistral), Streaming + stream_chunk_builder, Tool-Nutzung, Embeddings, Textvervollständigungen, OpenAI Responses API, Mock-Antworten. Was nicht enthalten ist: Router (Lastausgleich, Fallbacks), Proxy-Server, Caching/Budgetierung/Kostenverfolgung, Token-Zählung, Bildgenerierung, Audio, OCR, Fine-Tuning, Agenten, Guardrails, Scheduler. Routet zu 19 Anbietern über die Syntax "provider/model-name". Jeder OpenAI-kompatible Endpunkt funktioniert über api_base. Alle Anbieterfehler werden auf litelms Ausnahmehierarchie abgebildet. litelm ist menschlich gesteuerte, KI-unterstützte Software.

Wichtige Entitäten: Unternehmen: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | Standorte: Paris