Respan, जो Y Combinator W24 बैच की कंपनी है, ने Rust में लिखा एक ओपन-सोर्स AI गेटवे लॉन्च किया है। संस्थापक Andy बताते हैं कि यह गेटवे डीकपल्ड है, यानी हर चीज़ एक प्लगइन है: OpenAI, Anthropic और Gemini जैसे प्रदाता, MCP और वॉयस जैसे प्रोटोकॉल, इमेज और वीडियो जैसे मोडैलिटी, तथा फ़ॉलबैक, PII रिडैक्शन और स्मार्ट रूटिंग जैसी गेटवे सुविधाएँ।
कंपनी का कहना है कि अधिकांश LLM गेटवे एक ही मूल समस्या हल करते हैं, यानी एक ही एंडपॉइंट से कई प्रदाताओं को कॉल करना, लेकिन नई सुविधाएँ जोड़ना लगातार कठिन होता जाता है। Respan ने 2024 में LiteLLM पर निर्माण शुरू किया। जब उसका रैपर कोड 1,00,000 पंक्तियों से आगे बढ़ गया और हज़ारों संगठनों की सेवा होने लगी, तो रखरखाव अस्थिर हो गया। जनवरी में LiteLLM के एक नियमित अपग्रेड से रुक-रुक कर कनेक्शन त्रुटियाँ आने लगीं और रोलबैक करना पड़ा, जिसके बाद टीम ने अपस्ट्रीम सुधारों को मैन्युअली बैकपोर्ट करना शुरू किया।
Nginx से प्रेरित होकर, Respan ने एक छोटा कोर डिज़ाइन किया जो केवल इवेंट भेजने का काम करता है। डेवलपर कोर को छुए बिना प्रदाता या कस्टम सुविधाएँ प्लगइन के रूप में जोड़ सकते हैं। टीम का कहना है कि एक प्रदाता एक छोटी फ़ाइल हो सकता है, और उसने अपने Mistral एकीकरण का उदाहरण दिया, जो 22 पंक्तियों का है। गेटवे API फ़ॉर्मैट के बीच अनुवाद भी करता है, जिससे, उदाहरण के लिए, OpenAI Realtime API पर बना ऐप Gemini Live का उपयोग कर सकता है, हालाँकि हर सुविधा पूरी तरह मेल नहीं खाती।
जब क्लाइंट और प्रदाता एक ही फ़ॉर्मैट साझा करते हैं और कोई प्लगइन पेलोड में बदलाव नहीं करता, तो मूल बाइट्स और प्रदाता-विशिष्ट फ़ील्ड बिना बदले आगे भेजे जाते हैं।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित