Respan是Y Combinator W24批次的公司,已推出一款用Rust编写的开源AI网关。创始人Andy解释说,该网关采用解耦设计,即一切皆为插件:包括OpenAI、Anthropic和Gemini等服务商,MCP和语音等协议,图像和视频等模态,以及回退、PII脱敏和智能路由等网关功能。
该公司表示,大多数LLM网关解决的都是同一个核心问题,即通过一个端点调用多家服务商,但新增功能却越来越困难。Respan于2024年开始基于LiteLLM进行开发。随着其封装代码超过10万行,并服务于数千家机构,维护变得难以持续。今年1月对LiteLLM的一次常规升级导致间歇性连接错误,被迫回滚,此后团队开始手动回移植上游修复。
受Nginx启发,Respan设计了一个只负责分发事件的小型核心。开发者无需改动核心,即可将服务商或自定义功能以插件形式添加。团队称,一个服务商可以只是一个简短的文件,并以其Mistral集成为例,仅有22行代码。该网关还能在API格式之间进行转换,例如让基于OpenAI Realtime API构建的应用使用Gemini Live,不过并非所有功能都能完全对应。
当客户端与服务商使用相同格式,且没有插件修改载荷时,原始字节和服务商特定字段将保持不变直接透传。
来源: Hacker News · 由HeadlinesBriefing整理摘要