HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya: मिलीसेकंड में ओपन-सोर्स निर्णय मॉडल

Hacker News •
×

किसी भी टेक्स्ट या JSON के बारे में टाइप किए गए प्रश्न पूछें और मिलीसेकंड में कैलिब्रेटेड उत्तर प्राप्त करें। निजी, ओपन-सोर्स, आपके अपने हार्डवेयर पर। डाउनलोड करें मॉडल ब्राउज़ करें वास्तविक आउटपुट: laya:en पर रूट किया गया, RTX 4090 पर 8.9 ms में उत्तर दिया गया।

तेज़ ड्रॉप-इन संगत ओपन मॉडल आपका डेटा आपका रहता है प्लेटफ़ॉर्म मिलीसेकंड में तेज़ निर्णय। एक निर्णय मॉडल एक ही फॉरवर्ड पास में उत्तर देता है, बिना टोकन-दर-टोकन जनरेशन के। आपके अपने GPU पर, Laya को पाँच-प्रश्नों का अनुरोध HTTP API के माध्यम से एंड-टू-एंड लगभग 10 ms लेता है।

ड्रॉप-इन संगत Type Safe के API से बात करता है। Ollaya Type Safe के अनुरोध और प्रतिक्रिया आकृतियों के साथ /v1/systemone और /v1/models प्रदान करता है। आधिकारिक Type Safe Python SDK 0.7.1 एक स्थानीय सर्वर के विरुद्ध अपरिवर्तित काम करता है।

खुले वज़न, खींचने के लिए तैयार। Convai Innovations से Laya से शुरू करें: एक अंग्रेजी मॉडल, एक 100+ भाषा मॉडल, टाइप किए गए निर्णयों के लिए फ़ाइन-ट्यून किया गया मॉडल, और एक राउटर जो आपके लिए चुनता है। डिफ़ॉल्ट रूप से निजी। जहाँ आप काम करते हैं वहाँ चलता है। मिनटों में चालू हो जाएँ। एक बाइनरी, एक कमांड: ollaya run laya।