HeadlinesBriefing favicon HeadlinesBriefing.com

লয়া: 33 মিলিসেকেন্ড ওপেন মাল্টিল্যাঙ্গুয়েজ ডিসিজন ইঞ্জিন

Hacker News •
×

লেখক লয়া এর উন্নয়নের বিস্তারিত বিবরণ দিয়েছেন, যা একটি মাল্টিল্যাঙ্গুয়েজ সিস্টেম 1 ডিসিজন ইঞ্জিন যা একল GPU-এ 32.8 মিলিসেকেন্ড latency অর্জন করে, इसे Type Safe AI এর স্বামিত্বপ্রাপ্ত মডেল যেমন Jev এর তুলনায় দ্রুত ও ওপেন সোর্স বিকল্প হিসেবে প্রতিষ্ঠিত করে। লেখক পূর্ববর্তী কला দাবি করেন যা মার্চ ২০২৫ (arXiv:2503.23303) তে শুরু হয়, যার মধ্যে Hugging Face-এ মডেল, ডেটাসেট এবং একটি PyPI প্যাকেজ অন্তর্ভুক্ত, যা Type Safe AI এর সেপ্টেম্বর ২০২৬ লঞ্চের আগে। Diogo Almeida দ্বারা প্রতিষ্ঠিত, যিনি OpenAI-এ ChatGPT এর সহ-আবিষ্কারক, Type Safe AI RLCD (ক্যালিব্রেটেড সিদ্ধান্তের জন্য রিইনফোর্সমেন্ট লার্নিং) প্রবর্তন করেছেন $0.042 প্রতি মিলিয়ন টোকেনে, যার latency 150 মিলিসেকেন্ড

লয়া সহজ শ্রেণীবিন্যাস কাজ (মার্কেটিং, স্প্যাম ডিটেকশন, জরুরি স্কোরিং) জন্য জেনারেটিভ LLM ব্যবহার করার বাধা দূর করে, যা latency (500–2000 ms), খরচ এবং হ্যালুসিনেশন ঝুঁকি বাড়ায়। इसके बजाय, লয়া বidirেকশনাল এনকোডার ব্যবহার করে তিনটি প্রিমিটিভের মাধ্যমে তাত্কালিক, ক্যালিব্রেটেড সম্ভাব্য আউটপুট প্রদান করে: choice (বর্গীয় বাছাই), score (ক্রমিক রুব্রিক স্থাপন) এবং noul (শূন্য/অবস্থগিত ডিটেকশন)।

মডেল পরিবার ১০০ থেকে বেশি ভাষা সমর্থন করে, ব্যাচডে ৭.২ মিলিসেকেন্ড/প্রশ্নে চলে, কোনো API সাবস্ক্রিপশন প্রয়োজন নেই, এবং Apache 2.0-এ ওজন প্রকাশ করে। লেখক লয়া কে পূর্বের কাজের স্থাপত্য সীমাবদ্ধতাগুলো ঠিক করার সমাপ্তি হিসেবে দেখেন, লম্ববিক্রয় ট্র্যাজেক্টরি থেকে क्षैতিজ, সাধারণকৃত স্কিমা সিদ্ধান্তের দিকে অগ্রসর হচ্ছেন।

মূল একক: কোম্পানিগুলো: Type Safe AI, OpenAI, Hugging Face | লোক: Diogo Almeida