O roteamento + tradução do litellm em ~2.900 linhas e 2 dependências (openai, httpx). O litellm roteia chamadas LLM entre provedores e traduz entre formatos de mensagens. Esse núcleo está enterrado sob mais de 100k LOC de servidores proxy, camadas de cache, rastreamento de custos e dezenas de recursos que a maioria dos usuários nunca toca.

O litelm extrai apenas o caminho de chamada — roteamento de modelos, tradução de mensagens, streaming, uso de ferramentas, embeddings — e nada mais. Sem classe Router, sem proxy, sem cache. Instalação: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # tudo.

Uso: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). Cada função tem uma variante assíncrona: acompletion, aembedding, aresponses, atext_completion. A API espelha o litellm — mesmos nomes de funções, mesmos argumentos, mesmos tipos de resposta. A troca é s/litellm/litelm/ nos seus imports.

O que está incluído: Roteamento de modelos, tradução de mensagens (Anthropic, Bedrock, Cloudflare, Mistral), streaming + stream_chunk_builder, uso de ferramentas, embeddings, completações de texto, OpenAI Responses API, respostas simuladas. O que está fora: Router (balanceamento de carga, fallbacks), servidor proxy, cache/orçamento/rastreamento de custos, contagem de tokens, geração de imagens, áudio, OCR, fine-tuning, agentes, guardrails, agendador. Roteia para 19 provedores via sintaxe "provider/model-name". Qualquer endpoint compatível com OpenAI funciona via api_base. Todos os erros de provedores são mapeados para a hierarquia de exceções do litelm. O litelm é software dirigido por humanos e assistido por IA.

Entidades principais: Empresas: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | Locais: Paris