أطلقت Respan، وهي شركة من دفعة Y Combinator W24، بوابة ذكاء اصطناعي مفتوحة المصدر مكتوبة بلغة Rust. ويوضح المؤسس Andy أن البوابة مفصولة التركيب، أي أن كل شيء فيها إضافة: المزودون مثل OpenAI وAnthropic وGemini، والبروتوكولات مثل MCP والصوت، والوسائط مثل الصور والفيديو، وميزات البوابة مثل الاحتياطيات وإخفاء المعلومات الشخصية والتوجيه الذكي.
وتقول الشركة إن معظم بوابات نماذج اللغة الكبيرة تحل المشكلة الأساسية نفسها، وهي استدعاء عدة مزودين من نقطة نهاية واحدة، لكن إضافة ميزات جديدة تزداد صعوبة. بدأت Respan البناء على LiteLLM في عام 2024، ولما تجاوز كود الغلاف لديها 100 ألف سطر وهي تخدم آلاف المؤسسات، أصبحت الصيانة غير مستدامة. وأدى تحديث روتيني لـ LiteLLM في يناير إلى أخطاء اتصال متقطعة واضطر الفريق إلى التراجع، بعدها بدأ يطبق إصلاحات المصدر الأعلى يدوياً.
وباستلهام Nginx، صممت Respan نواة صغيرة تقتصر مسؤوليتها على توزيع الأحداث. يستطيع المطورون إضافة مزودين أو ميزات مخصصة كإضافات دون المساس بالنواة. ويقول الفريق إن المزود قد يكون ملفاً قصيراً، ويستشهد بتكامله مع Mistral الذي لا يتجاوز 22 سطراً. كما تترجم البوابة بين تنسيقات واجهات البرمجة، فتتيح مثلاً لتطبيق مبني على Realtime API من OpenAI أن يستخدم Gemini Live، وإن لم تتطابق كل الميزات بينهما.
وعندما يتشارك العميل والمزود التنسيق نفسه ولا تعدل أي إضافة الحمولة، تمر البايتات الأصلية والحقول الخاصة بالمزود دون تغيير.
المصدر: Hacker News · لخّصه HeadlinesBriefing