Experiential Labs lançou um gateway de modelos open source no GitHub que fornece um único plano de controle para modelos fechados, open source, locais e personalizados. Construído em Rust para concorrência, ele padroniza formatos de streaming, chamadas de ferramentas, parâmetros de modelos, limites de taxa e comportamento de erros entre provedores.

O gateway suporta todos os principais provedores de inferência e mais de 1000 modelos atualizados diariamente via um agente codex que abre pull requests. Ele adiciona menos de 1 ms para requisições BYOK e menos de 2 ms quando a Experiential fornece a chave do provedor. Os usuários podem implantá-lo em sua própria infraestrutura ou usar a versão hospedada em platform.experientiallabs.ai com zero markup.

Diferente dos concorrentes, a Experiential é open source, não cobra markup, permite misturar modelos locais com um marketplace e pode treinar um modelo personalizado a partir de tráfego de produção opt-in. Decisões de roteamento usam traces OTel padronizados, simulações via modelos de mundo de texto, um juiz LLM e um classificador nearest-neighbor em embeddings de prompts. Esta abordagem pode oferecer uma melhor curva de Pareto custo/qualidade do que chamar um único modelo, enquanto também permite otimização de cache hit e sugestões de novos modelos.

A plataforma hospedada serve tanto uma API compatível com OpenAI quanto a API Messages da Anthropic em https://api.experientiallabs.ai/v1, com prompts de onboarding suportando Claude Code, Cursor, Codex, Aider e agentes de codificação similares.

Entidades principais: Empresas: Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router