Hacker Newsのユーザーjoncleggは、AIモデルが単一のプロンプトからプレイ可能なPac-Manクローンをどの程度効果的に生成できるかを評価するためにPac-Benchを立ち上げました。このチャレンジでは、モデルがフォローアッププロマンドや修正を許可せずに、1回の試行で完全なHTMLページを作成する必要があります。結果はパフォーマンスの大きな違いを明らかにしており、一部のモデルは機能するゲームを生成するのに対し、他のモデルは基本的なメカニクスに苦労しています。このベンチマークは成功率、コードの効率性、および厳密なワンショットの制約の遵守を追跡し、現在のAIコーディング能力に関する洞察を提供します。主催者は、トークンの使用状況、生成時間、HTML出力サイズに関するデータを収集して、実用的な実現可能性を測定しました。プロジェクトページには、個々のモデルの試行とコミュニティ分析のための詳細なメトリックスが掲載されています。