OpenAI সম্প্রতি তাদের decisions endpoint চালু করেছে, এবং Cloudflare কিছুদিন আগে Clef প্রকাশ করেছে, আর আরও অনেক jev বিকল্প এখন পাওয়া যাচ্ছে। জনপ্রিয় বিকল্পগুলো তুলনা করতে Opper AI দল সেগুলো Pac-Man দিয়ে পরীক্ষা করার সিদ্ধান্ত নিয়েছে, যা দ্রুত সিদ্ধান্ত নেওয়ার একটি সহজ বেঞ্চমার্ক।
দল jev 1.13, kev, clef, clef flash, GPT-6 Luna ও Laya-কে ক্লাসিক বট ভূতের বিরুদ্ধে Pac-Man খেলতে দিয়েছে। এই মডেলগুলোর কম লেটেন্সি রিয়েল-টাইম খেলা সম্ভব করে। প্রতিটি মডেল ১০০টি গেম খেলেছে, এবং ফলাফল একটি লিডারবোর্ডে প্রকাশ করা হয়েছে। রিপোজিটরিটি ওপেন সোর্স, তাই যে কেউ নিজের মডেল চালিয়ে র্যাঙ্কিংয়ে যোগ দিতে পারে।
প্রতিটি গেমের খরচ প্রায় ২ সেন্ট, এবং সব মডেল দলের স্টার্টআপ Opper-এর মাধ্যমে চলে। দর্শকরা নিজেরাও Pac-Man হয়ে খেলতে পারেন, আর ভূতগুলো মডেলের মিশ্রণ বা jev-এর মতো একটি একক মডেল দ্বারা নিয়ন্ত্রিত হয়। সবাই চেষ্টা করতে পারে সেজন্য বিনামূল্যে ক্রেডিট দেওয়া হচ্ছে।
HTTP endpoint-এর পেছনের যেকোনো মডেল অংশ নিতে পারে, সেটি হোস্ট করা, fine-tuned বা ল্যাপটপে চালানো হোক না কেন। প্রতিটি গেম রেকর্ড করা হয় এবং হুবহু পুনরায় চালানো যায়, তাই ফলাফল যাচাই করা যায়। স্কোর গড় দিয়ে গণনা করা হয় ৯৫% ত্রুটির মার্জিনসহ, এবং বর্তমান শীর্ষে থাকা jev 1.13 সর্বোচ্চ স্কোর ধরে রেখেছে। দল সম্প্রদায়ের মতামত চাইছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing