Respan, компания из программы Y Combinator W24, выпустила открытый AI-шлюз, написанный на Rust. Основатель Andy объясняет, что шлюз построен по принципу разделения: всё в нем является плагином. Это провайдеры вроде OpenAI, Anthropic и Gemini, протоколы вроде MCP и голосовых интерфейсов, модальности вроде изображений и видео, а также функции шлюза, такие как запасные варианты (fallbacks), редактирование персональных данных (PII) и интеллектуальная маршрутизация.
По словам компании, большинство LLM-шлюзов решают одну и ту же базовую задачу: вызов нескольких провайдеров через одну конечную точку. Однако добавлять новые функции становится всё сложнее. Respan начала разработку на основе LiteLLM в 2024 году. Когда объем ее кода-обертки превысил 100 000 строк, а сервисом пользовались тысячи организаций, поддерживать его стало невозможно. Плановое обновление LiteLLM в январе вызвало периодические ошибки подключения и потребовало отката. После этого команда начала вручную переносить исправления из вышестоящего проекта.
Вдохновившись Nginx, Respan создала небольшое ядро, которое отвечает только за распределение событий. Разработчики могут добавлять провайдеров или пользовательские функции в виде плагинов, не трогая ядро. По словам команды, провайдер может занимать один короткий файл: в качестве примера приводится интеграция с Mistral, которая состоит из 22 строк. Шлюз также преобразует форматы API. Например, приложение, построенное на Realtime API от OpenAI, может использовать Gemini Live, хотя не все функции при этом соответствуют друг другу.
Если клиент и провайдер используют один формат и ни один плагин не изменяет тело запроса, исходные байты и поля, специфичные для провайдера, передаются без изменений.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing