O usuário do Hacker News jonclegg lançou o Pac-Bench para avaliar como os modelos de IA podem gerar efetivamente um clone jogável de Pac-Man a partir de um único prompt. O desafio exige que os modelos criem uma página HTML completa em uma única tentativa, sem prompts de follow-up ou correções permitidas. Os resultados revelam uma variação significativa no desempenho, com alguns modelos produzindo jogos funcionais enquanto outros lutam contra mecânicas básicas.

O benchmark rastreia taxas de sucesso, eficiência de código e aderência à restrição rigorosa de uma única tentativa, fornecendo insights sobre as capacidades atuais de codificação de IA. Os organizadores coletaram dados sobre uso de tokens, tempo de geração e tamanho da saída HTML para medir a viabilidade prática. A página do projeto hospeda as tentativas individuais de cada modelo e métricas detalhadas para análise comunitária.