Experiential Labs hat ein Open-Source-Modell-Gateway auf GitHub veröffentlicht, das eine einzige Steuerungsebene für geschlossene, Open-Source-, lokale und benutzerdefinierte Modelle bietet. In Rust für Parallelität entwickelt, standardisiert es Streaming-Formate, Tool-Aufrufe, Modellparameter, Ratenlimits und Fehlerverhalten über Anbieter hinweg.

Das Gateway unterstützt jeden wichtigen Inferenz-Anbieter und über 1000 Modelle, die täglich über einen Codex-Agenten aktualisiert werden, der Pull-Requests öffnet. Es fügt weniger als 1 ms für BYOK-Anfragen und weniger als 2 ms hinzu, wenn Experiential den Anbieter-Schlüssel bereitstellt. Nutzer können es auf ihrer eigenen Infrastruktur bereitstellen oder die gehostete Version unter platform.experientiallabs.ai mit null Markup nutzen.

Im Gegensatz zu Wettbewerbern ist Experiential Open Source, erhebt kein Markup, erlaubt die Kombination lokaler Modelle mit einem Marktplatz und kann ein benutzerdefiniertes Modell aus Opt-in-Produktionsdaten trainieren. Routing-Entscheidungen verwenden standardisierte OTel-Traces, simulierte Rollouts über Text-Welt-Modelle, einen LLM-Richter und einen Nearest-Neighbor-Klassifikator auf Prompt-Embeddings. Dieser Ansatz kann eine bessere Kosten/Qualitäts-Pareto-Kurve liefern als Einzelmodell-Aufrufe, während er auch Cache-Hit-Optimierung und neue Modellvorschläge ermöglicht.

Die gehostete Plattform stellt sowohl eine OpenAI-kompatible als auch die Anthropic Messages API unter https://api.experientiallabs.ai/v1 bereit, mit Onboarding-Prompts, die Claude Code, Cursor, Codex, Aider und ähnliche Coding-Agenten unterstützen.

Wichtige Entitäten: Unternehmen: Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router