Experiential Labs GitHub-এ একটি ওপেন সোর্স মডেল গেটওয়ে প্রকাশ করেছে যা ক্লোজড, ওপেন-সোর্স, লোকাল এবং কাস্টম মডেলের জন্য একটি সিঙ্গেল কন্ট্রোল প্লেন প্রদান করে। সমবর্তিতা জন্য Rust-এ নির্মিত, এটি প্রদানকারীদের মধ্যে স্ট্রিমিং ফরম্যাট, টুল কল, মডেল প্যারামিটার, রেট লিমিট এবং ত্রুটি আচরণকে মানকীকরণ করে।

গেটওয়ে প্রতিটি প্রধান ইনফারেন্স প্রদানকারী এবং 1000+ মডেল সমর্থন করে जिन्हें একটি কোডেক্স এজেন্টের মাধ্যমে দৈনিক রিফ্রেশ করা হয় যা পুল রিকোয়েস্ট খোলে। এটি BYOK অনুরোধের জন্য 1 ms-র নিচে এবং Experiential প্রদানকারী কী প্রদান করলে 2 ms-র নিচে যোগ করে। ব্যবহারকারীরা এটি নিজস্ব ইনফ্রাস্ট্রাকচারে ডিপ্লয় করতে পারে বা platform.experientiallabs.ai-এ হোস্টেড সংস্করণটি শূন্য মার্কআপের সাথে ব্যবহার করতে পারে।

প্রতিযোগীদের বিপরীতে, Experiential ওপেন সোর্স, কোনো মার্কআপ নেয় না, লোকাল মডেলকে মার্কেটপ্লেসের সাথে মিশিয়ে ব্যবহার করার অনুমতি দেয়, এবং অপ্ট-ইন প্রোডাকশন ট্রাফিক থেকে একটি কাস্টম মডেল প্রশিক্ষণ দিতে পারে। রাউটিং সিদ্ধান্ত মানকীকৃত OTel ট্রেস, টেক্সট ওয়ার্ল্ড মডেলের মাধ্যমে সিমিউলেটেড রোলআউট, একটি LLM জজ, এবং প্রম্পট এম্বেডিং-এ নিয়ারেস্ট-নেইবর ক্লাসিফায়ার ব্যবহার করে। এই পদ্ধতি সিঙ্গেল-মডেল কলিং-এর চেয়ে ভালো খরচ/গুণগত পারেটো কার্ভ দিতে পারে, পাশাপাশি ক্যাশ হিট অপ্টিমাইজেশন এবং নতুন মডেল সাজেশন সক্ষম করে।

হোস্টেড প্ল্যাটফর্ম https://api.experientiallabs.ai/v1-এ OpenAI-সামঞ্জস্যপূর্ণ এবং Anthropic Messages API উভয়ই পরিবেশন করে, অনবোর্ডিং প্রম্পটস Claude Code, Cursor, Codex, Aider এবং অনুরূপ কোডিং এজেন্ট সমর্থন করে।

মূল エンティটি: কোম্পানি: Experiential Labs, GitHub, OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, Open Router