HeadlinesBriefing favicon HeadlinesBriefing.com

लाया: 33 मिलीसेकंड ओपन मल्टी लैंग्वेज डिसिजन इंजन

Hacker News •
×

लेखक लाया के विकास का विस्तृत विवरण देते हैं, जो एक मल्टी लैंग्वेज सिस्टम 1 डिसिजन इंजन है जो एकल GPU पर 32.8 मिलीसेकंड की विलंबता हासिल करता है, इसे Type Safe AI के स्वामित्व वाले मॉडल जैसे Jev की तुलना में तेज़ और ओपन सोर्स विकल्प के रूप में स्थापित करता है। लेखक पूर्व कला का दावा करते हैं जो मार्च 2025 (arXiv:2503.23303) तक जाती है, जिसमें Hugging Face पर मॉडल, डेटासेट और एक PyPI पैकेज शामिल हैं, जो Type Safe AI के सितंबर 2026 के लॉन्च से पहले हैं। Diogo Almeida द्वारा स्थापित, जो OpenAI में ChatGPT के सह-आविष्कारक हैं, Type Safe AI ने RLCD (कैलिब्रेटेड निर्णयों के लिए पुनर्बलन सीखना) को $0.042 प्रति मिलियन टोकन पर पेश किया, जिसकी विलंबता 150 मिलीसेकंड है।

लाया उस बाधा को दूर करता है जिसमें सरल वर्गीकरण कार्यों (मार्ग निर्धारण, स्पैम पहचान, तात्कालिकता स्कोरिंग) के लिए जनरेटिव LLM का उपयोग करना शामिल है, जो विलंबता (500–2000 मिलीसेकंड), लागत और हलूसिनेशन जोखिम जोड़ता है। इसके बजाय, लाया द्विदिश एन्कोडर का उपयोग करके तीन प्राथमिकताओं के माध्यम से तात्कालिक, कैलिब्रेटेड संभावना आउटपुट प्रदान करता है: choice (श्रेणीबद्ध चयन), score (क्रमबद्ध रूब्रिक स्थान), और noul (शून्य/अम्नेस्टी डिटेक्शन)।

मॉडल परिवार 100 से अधिक भाषाओं का समर्थन करता है, बैच्ड में 7.2 मिलीसेकंड/प्रश्न पर संचालित होता है, कोई API सदस्यता आवश्यक नहीं है, और Apache 2.0 के तहत वज़न जारी करता है। लेखक लाया को पिछले काम में वास्तुकला सीमाओं को ठीक करने का समापन मानते हैं, लंबविक्री बिक्री पथों से क्षैतिज, सामान्यीकृत स्कीमा निर्णयों की ओर बढ़ते हैं।

मुख्य इकाइयाँ: कंपनियाँ: Type Safe AI, OpenAI, Hugging Face | व्यक्ति: Diogo Almeida