DishwasherBench ist ein Geschirrspüler-Beladespiel, das auf einer physikalischen Simulation einer realen Maschine beruht, des Bosch SMV4HAX40G. Es wurde entwickelt, um Sprachmodelle zu bewerten, und kann auch von Menschen im Browser gespielt werden. Das Spiel im Inneren heißt Spotless, und seine Pakete tragen den Namen @spotless/*.
Der Spieler belädt ein 3D-Modell des Geschirrspülers mithilfe von Starrkörperphysik. Danach wird ein Waschgang im Programm Eco 50 simuliert, der Düsen, Tröpfchen, Ablauf, Verschmutzung und die Chemie des Waschmittels umfasst. Der Spieler erhält Punkte für jeden Gegenstand, der sauber herauskommt. Ab der zweiten Stufe passt nicht mehr alles hinein, daher muss der Spieler entscheiden, was er einlädt und wie.
Dies ist eine frühe Version, 0.1.0. Die Simulation ist auf einen einzelnen Testwaschgang der realen Maschine kalibriert. Eine Punktzahl zeigt, ob der Spieler gut gepackt und Tassen, Gläser und Töpfe mit der Öffnung nach unten platziert hat. Sie zeigt noch nicht, ob Teller und Besteck so gestapelt wurden, dass sie sauber werden. Die Beladephysik und die wiederholbaren Episodenaufzeichnungen gelten als solide, während die Bewertung von Tellern und Besteck als grob beschrieben wird.
Das Projekt wird von Composo entwickelt und betreut und auf GitHub veröffentlicht. Es umfasst einen Kurs mit sieben nach Schwierigkeit geordneten Stufen, drei Spielmöglichkeiten über die Webseite, einen MCP-Server für Agenten und ein Benchmarking-Gerüst. Bisher haben zwei Modelle sechs Episoden auf der offiziellen Stufe gespielt, und eine menschliche Ausgangsbasis wurde noch nicht erfasst.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing