Experiential Labs a publié une passerelle de modèles open source sur GitHub qui fournit un plan de contrôle unique pour les modèles fermés, open source, locaux et personnalisés. Construite en Rust pour la concurrence, elle standardise les formats de streaming, les appels d'outils, les paramètres de modèles, les limites de taux et le comportement d'erreur entre les fournisseurs.

La passerelle prend en charge chaque fournisseur d'inférence majeur et plus de 1000 modèles actualisés quotidiennement via un agent codex qui ouvre des pull requests. Elle ajoute moins de 1 ms pour les requêtes BYOK et moins de 2 ms lorsque Experiential fournit la clé du fournisseur. Les utilisateurs peuvent la déployer sur leur propre infrastructure ou utiliser la version hébergée sur platform.experientiallabs.ai avec zéro markup.

Contrairement aux concurrents, Experiential est open source, ne prend aucun markup, permet de mélanger des modèles locaux avec une marketplace, et peut entraîner un modèle personnalisé à partir du trafic de production opt-in. Les décisions de routage utilisent des traces OTel standardisées, des simulations via des modèles de monde textuel, un juge LLM, et un classifieur plus proche voisin sur les embeddings de prompts. Cette approche peut offrir une meilleure courbe de Pareto coût/qualité que l'appel à un seul modèle, tout en permettant l'optimisation des hits de cache et les suggestions de nouveaux modèles.

La plateforme hébergée sert à la fois une API compatible OpenAI et l'API Messages d'Anthropic sur https://api.experientiallabs.ai/v1, avec des invites d'onboarding prenant en charge Claude Code, Cursor, Codex, Aider et des agents de codage similaires.

Entités clés : Entreprises : Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router