L'utilisateur de Hacker News jonclegg a lancé Pac-Bench pour évaluer dans quelle mesure les modèles d'IA peuvent générer un clone jouable de Pac-Man à partir d'un seul prompt. Le défi exige que les modèles créent une page HTML complète en un seul effort, sans invites suivantes ou corrections autorisées. Les résultats révèlent une variation importante des performances, certains modèles produisant des jeux fonctionnels tandis que d'autres luttent contre des mécanismes de base.

Le benchmark suit les taux de réussite, l'efficacité du code et le respect de la contrainte stricte à une seule tentative, offrant des aperçus des capacités actuelles de codage de l'IA. Les organisateurs ont collecté des données sur l'utilisation des jetons, le temps de génération et la taille de la sortie HTML pour mesurer la viabilité pratique. La page du projet héberge les tentatives individuelles de chaque modèle ainsi que des métriques détaillées pour l'analyse communautaire.