Y Combinator W24バッチの企業であるRespanは、Rustで書かれたオープンソースのAIゲートウェイを公開しました。創業者のAndyによると、このゲートウェイは疎結合になっており、すべてがプラグインとして実装されています。OpenAI、Anthropic、Geminiなどのプロバイダー、MCPや音声などのプロトコル、画像や動画などのモダリティ、そしてフォールバック、PII（個人を特定できる情報）のマスキング、スマートルーティングといったゲートウェイ機能が含まれます。
同社は、ほとんどのLLMゲートウェイが、1つのエンドポイントから複数のプロバイダーを呼び出すという同じ中核的な課題を解決しているものの、新機能の追加はますます難しくなっていると述べています。Respanは2024年にLiteLLMをベースに開発を始めました。ラッパーのコードが10万行を超え、数千の組織にサービスを提供するようになると、保守が持続不可能になったといいます。1月に行われたLiteLLMの定期アップグレードで接続エラーが断続的に発生し、ロールバックを余儀なくされました。その後、チームは上流の修正を手作業でバックポートするようになりました。
Nginxに着想を得て、Respanはイベントのディスパッチのみを担う小さなコアを設計しました。開発者はコアに手を加えることなく、プロバイダーやカスタム機能をプラグインとして追加できます。同社によると、プロバイダーは短いファイル1つで済むとのことで、Mistral連携は22行だと挙げています。また、このゲートウェイはAPIフォーマット間の変換も行い、たとえばOpenAI Realtime APIで構築されたアプリからGemini Liveを利用することも可能です。ただし、すべての機能が対応しているわけではありません。
クライアントとプロバイダーが同じフォーマットを使用し、ペイロードを変更するプラグインがない場合、元のバイト列とプロバイダー固有のフィールドはそのまま通過します。
出典: Hacker News · 要約：HeadlinesBriefing