Respan, entreprise issue du programme Y Combinator W24, a lancé une passerelle IA open source écrite en Rust. Son fondateur, Andy, explique que la passerelle est découplée, ce qui signifie que tout y est un plugin : les fournisseurs comme OpenAI, Anthropic et Gemini, les protocoles comme MCP et la voix, les modalités comme les images et la vidéo, ainsi que les fonctions de passerelle telles que les replis automatiques, la rédaction de données personnelles (PII) et le routage intelligent.
Selon l'entreprise, la plupart des passerelles LLM résolvent le même problème de fond, à savoir appeler plusieurs fournisseurs depuis un seul point d'accès, mais l'ajout de nouvelles fonctions devient de plus en plus difficile. Respan a commencé à développer sur LiteLLM en 2024. Lorsque son code d'enveloppe a dépassé les 100 000 lignes tout en servant des milliers d'organisations, la maintenance est devenue insoutenable. Une mise à jour de routine de LiteLLM en janvier a provoqué des erreurs de connexion intermittentes et imposé un retour en arrière, après quoi l'équipe a commencé à reporter manuellement les correctifs en amont.
Inspirée par Nginx, Respan a conçu un noyau réduit, chargé uniquement de distribuer les événements. Les développeurs peuvent ajouter des fournisseurs ou des fonctions personnalisées sous forme de plugins sans toucher au noyau. L'équipe affirme qu'un fournisseur peut tenir dans un fichier court, et cite son intégration avec Mistral, qui ne compte que 22 lignes. La passerelle assure aussi la conversion entre formats d'API, permettant par exemple à une application construite sur l'API Realtime d'OpenAI d'utiliser Gemini Live, même si toutes les fonctions ne se correspondent pas.
Lorsque le client et le fournisseur partagent le même format et qu'aucun plugin ne modifie la charge utile, les octets d'origine et les champs propres au fournisseur sont transmis sans modification.
Source: Hacker News · Résumé par HeadlinesBriefing