Experiential Labs выпустила шлюз моделей с открытым исходным кодом на GitHub, который предоставляет единую плоскость управления для закрытых, открытых, локальных и пользовательских моделей. Построенный на Rust для параллелизма, он стандартизирует форматы потоковой передачи, вызовы инструментов, параметры моделей, ограничения скорости и поведение ошибок между провайдерами.

Шлюз поддерживает каждый основной провайдер инференса и более 1000 моделей, обновляемых ежедневно через codex-агента, который открывает pull requests. Он добавляет менее 1 мс для BYOK-запросов и менее 2 мс, когда Experiential предоставляет ключ провайдера. Пользователи могут развернуть его на собственной инфраструктуре или использовать хостинговую версию на platform.experientiallabs.ai с нулевой наценкой.

В отличие от конкурентов, Experiential имеет открытый исходный код, не берет наценку, позволяет смешивать локальные модели с маркетплейсом и может обучать пользовательскую модель на основе opt-in производственного трафика. Решения маршрутизации используют стандартизированные OTel-трейсы, симулированные развертывания через текстовые мировые модели, LLM-судью и классификатор ближайшего соседа по эмбеддингам промптов. Этот подход может обеспечить лучшую кривую Парето стоимость/качество, чем вызов одной модели, а также позволяет оптимизацию попаданий в кэш и предложения новых моделей.

Хостинговая платформа предоставляет как OpenAI-совместимый, так и Anthropic Messages API на https://api.experientiallabs.ai/v1, с промптами онбординга, поддерживающими Claude Code, Cursor, Codex, Aider и аналогичных агентов кодирования.

Ключевые сущности: Компании: Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router