DishwasherBenchは、実在する一台の機械、Bosch SMV4HAX40Gの物理シミュレーションに基づいた食洗機積み込みゲームです。言語モデルを評価するために作られましたが、ブラウザ上で人も遊ぶことができます。内部のゲームはSpotlessと呼ばれ、そのパッケージは@spotless/*という名前です。
プレイヤーは剛体物理を使って、食洗機の3Dモデルに食器を積み込みます。その後、Eco 50コースでの洗浄が、噴射、水滴、排水、汚れ、洗剤の化学的作用を含めてシミュレーションされます。きれいに仕上がった品目ごとに、プレイヤーはポイントを獲得します。第2レベル以降は全部が入るわけではないため、プレイヤーは何を、どのように積み込むかを選ばなければなりません。
これは初期リリース、バージョン0.1.0です。シミュレーションは実機の一回のテスト洗浄に基づいて調整されています。スコアは、プレイヤーが上手に詰め込み、カップ、グラス、鍋を逆さまに置けたかどうかを示します。ただし、皿とカトラリーがきれいに洗われるように重ねられていたかは、まだ示しません。積み込みの物理とリプレイ可能なエピソード記録は確かなものとされていますが、皿とカトラリーの採点は大まかだとされています。
このプロジェクトはComposoによって開発・保守されており、GitHubで公開されています。難易度順に並んだ7レベルのコース、ウェブページからの3つのプレイ方法、エージェント向けのMCPサーバー、ベンチマーク用のハーネスが含まれています。これまでに2つのモデルが公式ティアで6エピソードをプレイしましたが、人間の基準値はまだ記録されていません。
出典: Hacker News · 要約：HeadlinesBriefing