Hacker News उपयोगकर्ता jonclegg ने Pac-Bench लॉन्च किया ताकि यह आकलन किया जा सके कि AI मॉडल एक सेल्फ प्रॉम्प्ट से खेलने योग्य Pac-Man क्लोन को कितनी प्रभावी ढंग से उत्पन्न कर सकते हैं। चुनौती में मॉडल्स को एक पूरी HTML पृष्ठ बनाने की आवश्यकता है एक ही प्रयास में, बिना किसी अनुवर्ती प्रॉम्प्ट या सुधार की अनुमति के। परिणामों में प्रदर्शन में भारी अंतर पाया गया है, कुछ मॉडल फंक्शनल गेम्स उत्पादित करते हैं जबकि अन्य मूल तकनीकी में संघर्ष करते हैं। बेंचमार्क सफलता दरों, कोड दक्षता और सख्त वन-शॉट बाधा के पालन का पालन करता है, जिससे वर्तमान AI कोडिंग क्षमताओं की जानकारी मिलती है। आयोजकों ने टोकन उपयोग, जनरेशन समय और HTML आउटपुट आकार के डेटा एकत्र किए हैं ताकि व्यावहारिक विविधता का मापन किया जा सके। प्रोजेक्ट पेज पर व्यक्तिगत मॉडल प्रयास और समुदाय विश्लेषण के लिए विस्तृत मेट्रिक्स उपलब्ध हैं।