Маршрутизация + перевод litellm в ~2 900 строках и 2 зависимостях (openai, httpx). litellm маршрутизирует вызовы LLM между провайдерами и переводит между форматами сообщений. Это ядро погребено под 100k+ LOC прокси-серверов, слоёв кэширования, отслеживания затрат и десятков функций, которых большинство пользователей никогда не касаются.

litelm извлекает только путь вызова — маршрутизацию моделей, перевод сообщений, потоковую передачу, использование инструментов, эмбеддинги — и ничего больше. Нет класса Router, нет прокси, нет кэширования. Установка: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # всё.

Использование: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). Каждая функция имеет асинхронный вариант: acompletion, aembedding, aresponses, atext_completion. API повторяет litellm — те же имена функций, те же аргументы, те же типы ответов. Переключение — это s/litellm/litelm/ в ваших импортах.

Что включено: Маршрутизация моделей, перевод сообщений (Anthropic, Bedrock, Cloudflare, Mistral), потоковая передача + stream_chunk_builder, использование инструментов, эмбеддинги, текстовые дополнения, OpenAI Responses API, mock-ответы. Что исключено: Router (балансировка нагрузки, fallback), прокси-сервер, кэширование/бюджетирование/отслеживание затрат, подсчёт токенов, генерация изображений, аудио, OCR, тонкая настройка, агенты, guardrails, планировщик. Маршрутизирует к 19 провайдерам через синтаксис "provider/model-name". Любая конечная точка, совместимая с OpenAI, работает через api_base. Все ошибки провайдеров сопоставляются с иерархией исключений litelm. litelm — это программное обеспечение, управляемое человеком и созданное с помощью ИИ.

Ключевые сущности: Компании: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | Локации: Paris