HeadlinesBriefing favicon HeadlinesBriefing.com

litelm: Enrutamiento LLM mínimo en 2,900 líneas

Hacker News •
×

El enrutamiento y la traducción de litellm en ~2,900 líneas y 2 dependencias (openai, httpx). litellm enruta llamadas LLM entre proveedores y traduce entre formatos de mensajes. Ese núcleo está enterrado bajo más de 100k LOC de servidores proxy, capas de caché, seguimiento de costos y docenas de características que la mayoría de los usuarios nunca tocan.

litelm extrae solo la ruta de llamada — enrutamiento de modelos, traducción de mensajes, streaming, uso de herramientas, embeddings — y nada más. Sin clase Router, sin proxy, sin caché. Instalación: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # todo.

Uso: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). Cada función tiene una variante asíncrona: acompletion, aembedding, aresponses, atext_completion. La API refleja litellm — mismos nombres de funciones, mismos argumentos, mismos tipos de respuesta. Cambiar es s/litellm/litelm/ en tus importaciones.

Qué incluye: Enrutamiento de modelos, traducción de mensajes (Anthropic, Bedrock, Cloudflare, Mistral), streaming + stream_chunk_builder, uso de herramientas, embeddings, completados de texto, OpenAI Responses API, respuestas simuladas. Qué excluye: Router (balanceo de carga, fallbacks), servidor proxy, caché/presupuesto/seguimiento de costos, conteo de tokens, generación de imágenes, audio, OCR, fine-tuning, agentes, guardrails, planificador. Enruta a 19 proveedores mediante la sintaxis "provider/model-name". Cualquier endpoint compatible con OpenAI funciona vía api_base. Todos los errores de proveedores se asignan a la jerarquía de excepciones de litelm. litelm es software dirigido por humanos y asistido por IA.

Entidades clave: Empresas: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | Ubicaciones: Paris