Pengguna Hacker News bernama jonclegg meluncurkan Pac-Bench untuk mengevaluasi seberapa efektif model AI dapat menghasilkan klon Pac-Man yang dapat dimainkan dari satu prompt saja. Tantangan ini mengharuskan model membuat halaman HTML lengkap dalam satu upaya, tanpa mengizinkan prompt lanjutan atau koreksi. Hasilnya mengungkapkan variasi kinerja yang signifikan, dengan beberapa model menghasilkan permainan yang berfungsi sementara yang lain kesulitan dengan mekanisme dasar.

Benchmark ini melacak tingkat keberhasilan, efisiensi kode, dan kepatuhan pada batasan one-shot yang ketat, memberikan wawasan tentang kemampuan pengkodean AI saat ini. Penyelenggara mengumpulkan data tentang penggunaan token, waktu generasi, dan ukuran output HTML untuk mengukur kelayakan praktis. Halaman proyek menyimpan upaya model individual dan metrik terperinci untuk analisis komunitas.