OpenAI ने अभी अपना decisions endpoint लॉन्च किया है, और Cloudflare ने हाल ही में Clef जारी किया है, साथ ही कई और jev विकल्प भी उपलब्ध हो गए हैं। लोकप्रिय विकल्पों की तुलना के लिए, Opper AI टीम ने उन्हें Pac-Man पर परखने का फैसला किया, जो तेज़ निर्णय क्षमता के लिए एक सरल बेंचमार्क है।
टीम ने jev 1.13, kev, clef, clef flash, GPT-6 Luna और Laya को क्लासिक बॉट भूतों के खिलाफ Pac-Man खेलने दिया। इन मॉडलों की कम लेटेंसी रियल-टाइम खेल को संभव बनाती है। हर मॉडल ने 100 गेम खेले, और परिणाम एक लीडरबोर्ड पर प्रकाशित किए गए। रिपॉज़िटरी ओपन सोर्स है, इसलिए कोई भी अपना मॉडल चला कर रैंकिंग में शामिल हो सकता है।
हर गेम की लागत लगभग 2 सेंट है, और सभी मॉडल टीम की स्टार्टअप Opper के माध्यम से चलते हैं। विज़िटर खुद भी Pac-Man बन कर खेल सकते हैं, जबकि भूतों को मॉडलों के मिश्रण या jev जैसे एकल मॉडल द्वारा नियंत्रित किया जाता है। सभी को आज़माने के लिए मुफ़्त क्रेडिट दिए गए हैं।
कोई भी मॉडल जो HTTP endpoint के पीछे है, भाग ले सकता है, चाहे वह होस्टेड हो, fine-tuned हो या लैपटॉप पर चल रहा हो। हर गेम रिकॉर्ड होता है और बिल्कुल वैसे ही दोहराया जा सकता है, इसलिए परिणामों की जाँच की जा सकती है। स्कोर का माध्य 95% त्रुटि सीमा के साथ निकाला जाता है, और वर्तमान अग्रणी jev 1.13 ने उच्चतम स्कोर बनाए रखा है। टीम समुदाय की प्रतिक्रिया का स्वागत कर रही है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित