Hacker News ব্যবহারকারী jonclegg একটি খেলার যোগ্য Pac-Man ক্লোন তৈরির জন্য একটি একক প্রম্পট থেকে AI মডেলগুলি কতটি কার্যকরভাবে তৈরি করতে পারে তা মূল্যায়ন করতে Pac-Bench চালু করেন। চ্যালেঞ্জটি মডেলগুলিকে একটি সম্পূর্ণ HTML পৃষ্ঠা তৈরি করতে বাধ্য করে একক প্রচেষ্টায়, কোনও অনুসরণ প্রম্পট বা পরিশোধন অনুমোদিত নয়। ফলাফলগুলি কর্মক্ষমতায় উল্লেখযোগ্য পার্থক্য প্রকাশ করে, কিছু মডেল কার্যকর গেম উৎপাদন করে যখন অন্যদের মৌলিক যান্ত্রিকতায় সংগ্রাম করতে হয়। বেঞ্চমার্কটি সফলতা হার, কোড দক্ষতা এবং কঠোর ওয়ান-শট সীমাবদ্ধতায় অনুসরণ করে, বর্তমান AI কোডিং ক্ষমতার অন্তর্দৃষ্টি প্রদান করে। আয়োজকরা টোকেন ব্যবহার, জেনারেশন সময় এবং HTML আউটপুট আকার সম্পর্কে ডেটা সংগ্রহ করেন বাস্তব সম্ভাবনা মাপতে। প্রকল্প পৃষ্ঠাটি পৃথক মডেল প্রচেষ্টা এবং সম্প্রদায় বিশ্লেষণের জন্য বিস্তারিত মেট্রিক্স আয়োজিত করে।