El usuario de Hacker News jonclegg lanzó Pac-Bench para evaluar qué tan eficazmente los modelos de IA pueden generar un clon jugable de Pac-Man desde un solo prompt. El desafío requiere que los modelos creen una página HTML completa en un solo intento, sin permitir prompts de seguimiento o correcciones. Los resultados revelan una variación significativa en el rendimiento, con algunos modelos produciendo juegos funcionales mientras que otros luchan con mecánicas básicas.

El benchmark rastrea las tasas de éxito, la eficiencia del código y la adherencia a la restricción estricta de un solo disparo, proporcionando perspectivas sobre las capacidades actuales de codificación de IA. Los organizadores recopilaron datos sobre el uso de tokens, el tiempo de generación y el tamaño de la salida HTML para medir la viabilidad práctica. La página del proyecto alberga los intentos individuales de cada modelo y métricas detalladas para el análisis comunitario.