A Respan, empresa da turma W24 da Y Combinator, lançou um gateway de IA open source escrito em Rust. O fundador, Andy, explica que o gateway é desacoplado, o que significa que tudo é um plugin: provedores como OpenAI, Anthropic e Gemini, protocolos como MCP e voz, modalidades como imagens e vídeo, e recursos do gateway como fallbacks, redação de PII e roteamento inteligente.
A empresa afirma que a maioria dos gateways de LLM resolve o mesmo problema central, que é chamar vários provedores a partir de um único endpoint, mas adicionar novos recursos fica cada vez mais difícil. A Respan começou a construir sobre o LiteLLM em 2024. Quando seu código de encapsulamento passou de 100 mil linhas enquanto atendia milhares de organizações, a manutenção tornou-se insustentável. Uma atualização de rotina do LiteLLM em janeiro causou erros de conexão intermitentes e forçou uma reversão, após a qual a equipe passou a portar manualmente as correções upstream.
Inspirada no Nginx, a Respan projetou um núcleo pequeno, responsável apenas por despachar eventos. Os desenvolvedores podem adicionar provedores ou recursos personalizados como plugins sem tocar no núcleo. A equipe diz que um provedor pode ser um arquivo curto, citando sua integração com a Mistral, que tem 22 linhas. O gateway também traduz entre formatos de API, permitindo, por exemplo, que um app construído sobre a Realtime API da OpenAI use o Gemini Live, embora nem todos os recursos tenham correspondência.
Quando cliente e provedor compartilham o mesmo formato e nenhum plugin modifica a carga útil, os bytes originais e os campos específicos do provedor passam sem alterações.
Fonte: Hacker News · Resumido por HeadlinesBriefing