Experiential Labs ने GitHub पर एक ओपन सोर्स मॉडल गेटवे जारी किया है जो क्लोज्ड, ओपन-सोर्स, लोकल और कस्टम मॉडल के लिए एक सिंगल कंट्रोल प्लेन प्रदान करता है। समवर्तीता के लिए Rust में निर्मित, यह प्रदाताओं में स्ट्रीमिंग फॉर्मेट, टूल कॉल, मॉडल पैरामीटर्स, रेट लिमिट्स और एरर व्यवहार को मानकीकृत करता है।

गेटवे हर प्रमुख इन्फ्रेंस प्रदाता और 1000+ मॉडल का समर्थन करता है जिन्हें एक कोडेक्स एजेंट के माध्यम से दैनिक रूप से रीफ्रेश किया जाता है जो पुल रिक्वेस्ट खोलता है। यह BYOK अनुरोधों के लिए 1 ms से कम और जब Experiential प्रदाता कुंजी प्रदान करता है तो 2 ms से कम जोड़ता है। उपयोगकर्ता इसे अपने स्वयं के इन्फ्रास्ट्रक्चर पर तैनात कर सकते हैं या platform.experientiallabs.ai पर होस्टेड संस्करण का उपयोग कर सकते हैं जिसमें जीरो मार्कअप है।

प्रतिस्पर्धियों के विपरीत, Experiential ओपन सोर्स है, कोई मार्कअप नहीं लेता, लोकल मॉडल को मार्केटप्लेस के साथ मिलाने की अनुमति देता है, और ऑप्ट-इन प्रोडक्शन ट्रैफिक से एक कस्टम मॉडल प्रशिक्षित कर सकता है। रूटिंग निर्णय मानकीकृत OTel ट्रेस, टेक्स्ट वर्ल्ड मॉडल के माध्यम से सिम्युलेटेड रोलआउट, एक LLM जज, और प्रॉम्प्ट एम्बेडिंग पर नियरेस्ट-नेबर क्लासिफायर का उपयोग करते हैं। यह दृष्टिकोण सिंगल-मॉडल कॉलिंग की तुलना में बेहतर लागत/गुणवत्ता पारेतो कर्व प्रदान कर सकता है, साथ ही कैश हिट ऑप्टिमाइजेशन और नए मॉडल सुझावों को सक्षम करता है।

होस्टेड प्लेटफॉर्म https://api.experientiallabs.ai/v1 पर OpenAI-संगत और Anthropic Messages API दोनों प्रदान करता है, जिसमें ऑनबोर्डिंग प्रॉम्प्ट्स Claude Code, Cursor, Codex, Aider और इसी तरह के कोडिंग एजेंट्स का समर्थन करते हैं।

मुख्य संस्थाएं: कंपनियां: Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router