أطلقت OpenAI للتو نقطة نهاية القرارات الخاصة بها، وأصدرت Cloudflare مؤخرًا Clef، وهناك بدائل أخرى كثيرة لـ jev متاحة الآن. ولمقارنة الخيارات الشائعة، قرر فريق Opper AI اختبارها باستخدام Pac-Man، وهي معيار بسيط لاتخاذ القرارات السريعة.
أتاح الفريق لـ jev 1.13 وkev وclef وclef flash وGPT-6 Luna وLaya لعب Pac-Man ضد أشباح الروبوت الكلاسيكية. ويتيح زمن الاستجابة المنخفض لهذه النماذج اللعب في الوقت الفعلي. لعب كل نموذج 100 مباراة، ونُشرت النتائج في لوحة المتصدرين. والمستودع مفتوح المصدر، لذا يمكن لأي شخص تشغيل نموذجه الخاص والانضمام إلى الترتيب.
تكلف كل مباراة نحو 2 سنت، وتعمل جميع النماذج عبر Opper، شركة الشركة الناشئة التابعة للفريق. ويمكن للزوار أيضًا لعب دور Pac-Man بأنفسهم، مع التحكم في الأشباح عبر مزيج من النماذج أو بواسطة نموذج واحد مثل jev. وتتوفر أرصدة مجانية للجميع لتجربة ذلك.
يمكن لأي نموذج خلف نقطة نهاية HTTP أن يشارك، سواء كان مستضافًا أو معدّلًا بالضبط أو يعمل على حاسوب محمول. وتُسجَّل كل مباراة وتُعاد بدقة، لذا يمكن التحقق من النتائج. وتعتمد الدرجات على المتوسط مع هامش خطأ بنسبة 95%، ويحتفظ المتصدر الحالي jev 1.13 بأعلى الدرجات. ويسعى الفريق للحصول على آراء المجتمع.
المصدر: Hacker News · لخّصه HeadlinesBriefing