Пользователь Hacker News под именем jonclegg запустил Pac-Bench, чтобы оценить, насколько эффективно модели ИИ могут создавать игруемый клон Pac-Man из одного единственного запроса. Вызов требует, чтобы модели создали полную страницу HTML за одну попытку, без дополнительных запросов или исправлений. Результаты показывают значительное разнообразие в производительности: некоторые модели создают рабочие игры, тогда как другие сталкиваются с проблемами в базовой механике. Бенчмарк отслеживает показатели успешности, эффективность кода и соблюдение строгого ограничения однократного выполнения, предоставляя информацию о текущих возможностях ИИ в области кодирования. Организаторы собрали данные об использовании токенов, времени генерации и размере вывода HTML для оценки практической применимости. Страница проекта содержит индивидуальные попытки каждой модели и подробные метрики для анализа сообществом.