Respan, empresa de la promoción W24 de Y Combinator, ha lanzado una puerta de enlace de IA de código abierto escrita en Rust. El fundador, Andy, explica que la puerta de enlace está desacoplada, lo que significa que todo es un plugin: proveedores como OpenAI, Anthropic y Gemini, protocolos como MCP y voz, modalidades como imágenes y vídeo, y funciones de la puerta de enlace como fallbacks, redacción de PII y enrutamiento inteligente.
La empresa afirma que la mayoría de las puertas de enlace de LLM resuelven el mismo problema central de llamar a varios proveedores desde un único endpoint, pero añadir nuevas funciones se vuelve cada vez más difícil. Respan comenzó a construir sobre LiteLLM en 2024, y cuando su código envoltorio superó las 100.000 líneas mientras atendía a miles de organizaciones, el mantenimiento se volvió insostenible. Una actualización rutinaria de LiteLLM en enero provocó errores de conexión intermitentes y obligó a revertir los cambios, tras lo cual el equipo empezó a portar manualmente las correcciones upstream.
Inspirado en Nginx, Respan diseñó un núcleo pequeño, responsable únicamente de despachar eventos. Los desarrolladores pueden añadir proveedores o funciones personalizadas como plugins sin tocar el núcleo. El equipo afirma que un proveedor puede ser un archivo breve, y cita su integración con Mistral como ejemplo, con 22 líneas. La puerta de enlace también traduce entre formatos de API, lo que permite, por ejemplo, que una aplicación construida sobre la API Realtime de OpenAI use Gemini Live, aunque no todas las funciones se correspondan.
Cuando el cliente y el proveedor comparten formato y ningún plugin modifica la carga útil, los bytes originales y los campos específicos del proveedor pasan sin cambios.
Fuente: Hacker News · Resumido por HeadlinesBriefing