litellmのルーティングと翻訳を約2,900行、2つの依存関係（openai、httpx）で実現。litellmはプロバイダー間でLLM呼び出しをルーティングし、メッセージフォーマット間の変換を行います。そのコアは、100k+ LOCのプロキシサーバー、キャッシュレイヤー、コスト追跡、そしてほとんどのユーザーが触れることのない数十の機能の下に埋もれています。

litelmは呼び出しパスのみを抽出します — モデルルーティング、メッセージ翻訳、ストリーミング、ツール使用、埋め込み — それだけです。Routerクラスなし、プロキシなし、キャッシュなし。インストール: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # すべて。

使用法: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])。すべての関数に非同期版があります: acompletion、aembedding、aresponses、atext_completion。APIはlitellmをミラーリングしています — 同じ関数名、同じ引数、同じレスポンス型。切り替えはインポートでs/litellm/litelm/とするだけです。

含まれるもの: モデルルーティング、メッセージ翻訳（Anthropic、Bedrock、Cloudflare、Mistral）、ストリーミング + stream_chunk_builder、ツール使用、埋め込み、テキスト補完、OpenAI Responses API、モックレスポンス。含まれないもの: Router（ロードバランシング、フォールバック）、プロキシサーバー、キャッシュ/予算/コスト追跡、トークンカウント、画像生成、音声、OCR、ファインチューニング、エージェント、ガードレール、スケジューラー。"provider/model-name"構文で19のプロバイダーにルーティングします。OpenAI互換のエンドポイントはapi_base経由で動作します。すべてのプロバイダーエラーはlitelmの例外階層にマッピングされます。litelmは人間が指示し、AIが支援するソフトウェアです。

主要エンティティ: 企業: litellm、litelm、OpenAI、Anthropic、Groq、Mistral、xAI、OpenRouter、Azure、Bedrock、Cloudflare、Together、Fireworks、DeepSeek、Perplexity、DeepInfra、Gemini、Cohere、Ollama、NovLLM、LM Studio、vLLM | 場所: Paris