Y Combinator W24 ব্যাচের কোম্পানি Respan Rust ভাষায় লেখা একটি ওপেন-সোর্স AI গেটওয়ে চালু করেছে। প্রতিষ্ঠাতা Andy ব্যাখ্যা করেন, এই গেটওয়ে ডিকাপল্ড, অর্থাৎ সবকিছুই একটি প্লাগইন: OpenAI, Anthropic ও Gemini-এর মতো প্রদানকারী, MCP ও ভয়েসের মতো প্রোটোকল, ছবি ও ভিডিওর মতো মোডালিটি, এবং ফলব্যাক, PII রিডাকশন ও স্মার্ট রাউটিংয়ের মতো গেটওয়ে ফিচার।
কোম্পানির মতে, বেশিরভাগ LLM গেটওয়ে একই মূল সমস্যা সমাধান করে, অর্থাৎ একটি এন্ডপয়েন্ট থেকে একাধিক প্রদানকারীকে কল করা, তবে নতুন ফিচার যোগ করা ক্রমশ কঠিন হয়ে ওঠে। Respan 2024 সালে LiteLLM-এর উপর ভিত্তি করে কাজ শুরু করে। তার র্যাপার কোড ১ লাখ লাইন ছাড়িয়ে যায় এবং হাজার হাজার প্রতিষ্ঠানকে সেবা দিতে থাকলে রক্ষণাবেক্ষণ টেকসই হয়ে ওঠে না। জানুয়ারিতে LiteLLM-এর একটি নিয়মিত আপগ্রেডে মাঝে মাঝে সংযোগ ত্রুটি দেখা দেয় এবং রোলব্যাক করতে হয়, এরপর দল আপস্ট্রিম সংশোধনগুলো ম্যানুয়ালি ব্যাকপোর্ট করতে শুরু করে।
Nginx-এর অনুপ্রেরণায় Respan একটি ছোট কোর ডিজাইন করেছে, যা কেবল ইভেন্ট বণ্টনের দায়িত্বে থাকে। ডেভেলপাররা কোর স্পর্শ না করেই প্লাগইন হিসেবে প্রদানকারী বা কাস্টম ফিচার যোগ করতে পারেন। দলটি বলছে, একটি প্রদানকারী একটি ছোট ফাইল হতে পারে, এবং তারা তাদের Mistral ইন্টিগ্রেশনের উদাহরণ দিয়েছে, যা মাত্র ২২ লাইনের। এই গেটওয়ে API ফরম্যাটের মধ্যে রূপান্তরও করে, যেমন OpenAI Realtime API-এর উপর তৈরি একটি অ্যাপ Gemini Live ব্যবহার করতে পারে, যদিও সব ফিচার সরাসরি মেলে না।
যখন ক্লায়েন্ট ও প্রদানকারী একই ফরম্যাট ব্যবহার করে এবং কোনো প্লাগইন পেলোড পরিবর্তন না করে, তখন মূল বাইট এবং প্রদানকারী-নির্দিষ্ট ফিল্ডগুলো অপরিবর্তিতভাবে পাস হয়ে যায়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing