Respan, ein Unternehmen aus dem Y-Combinator-Jahrgang W24, hat ein in Rust geschriebenes Open-Source-AI-Gateway veröffentlicht. Gründer Andy erklärt, dass das Gateway entkoppelt aufgebaut ist, das heißt, alles ist ein Plugin: Anbieter wie OpenAI, Anthropic und Gemini, Protokolle wie MCP und Sprache, Modalitäten wie Bilder und Video sowie Gateway-Funktionen wie Fallbacks, PII-Schwärzung und intelligentes Routing.
Das Unternehmen erklärt, dass die meisten LLM-Gateways dasselbe Kernproblem lösen, nämlich mehrere Anbieter über einen einzigen Endpunkt anzusprechen, dass sich aber neue Funktionen zunehmend schwerer ergänzen lassen. Respan begann 2024 mit der Entwicklung auf Basis von LiteLLM. Als der Wrapper-Code über 100.000 Zeilen anwuchs und Tausende Organisationen bedient wurden, wurde die Wartung nicht mehr tragbar. Ein routinemäßiges LiteLLM-Upgrade im Januar verursachte sporadische Verbindungsfehler und erzwang ein Rollback, danach begann das Team, Upstream-Korrekturen manuell zurückzuportieren.
Inspiriert von Nginx entwarf Respan einen kleinen Kern, der nur für das Verteilen von Ereignissen zuständig ist. Entwickler können Anbieter oder eigene Funktionen als Plugins hinzufügen, ohne den Kern anzufassen. Das Team gibt an, dass ein Anbieter aus einer kurzen Datei bestehen kann, und nennt als Beispiel seine Mistral-Integration mit 22 Zeilen. Das Gateway übersetzt außerdem zwischen API-Formaten, sodass beispielsweise eine auf der OpenAI Realtime API aufgebaute App Gemini Live nutzen kann, wobei nicht jede Funktion vollständig übertragbar ist.
Wenn Client und Anbieter dasselbe Format verwenden und kein Plugin die Nutzlast verändert, werden die ursprünglichen Bytes und anbieterspezifische Felder unverändert durchgereicht.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing