DishwasherBench est un jeu de chargement de lave-vaisselle fondé sur une simulation physique d'une machine réelle, le Bosch SMV4HAX40G. Il a été créé pour évaluer des modèles de langage et peut aussi être joué par des personnes dans un navigateur. Le jeu interne s'appelle Spotless, et ses paquets sont nommés @spotless/*.
Le joueur charge un modèle 3D du lave-vaisselle à l'aide d'une physique de corps rigides. Un lavage sur son programme Eco 50 est ensuite simulé, couvrant les jets, les gouttelettes, l'écoulement, la saleté et la chimie de la lessive. Le joueur gagne des points pour chaque objet qui ressort propre. À partir du deuxième niveau, tout ne rentre pas, le joueur doit donc choisir quoi charger et comment.
Il s'agit d'une version préliminaire, la 0.1.0. La simulation est calibrée sur un seul lavage d'essai de la machine réelle. Un score indique si le joueur a bien rangé et placé tasses, verres et casseroles la bouche vers le bas. Il ne montre pas encore si les assiettes et les couverts ont été empilés de façon à ressortir propres. La physique du chargement et les enregistrements d'épisodes rejouables sont décrits comme solides, tandis que la notation des assiettes et des couverts est décrite comme approximative.
Le projet est développé et maintenu par Composo et publié sur GitHub. Il comprend un parcours de sept niveaux classés par difficulté, trois façons de jouer via la page web, un serveur MCP pour les agents et un outil de benchmarking. Deux modèles ont joué six épisodes au niveau officiel jusqu'ici, et aucune référence humaine n'a encore été enregistrée.
Source: Hacker News · Résumé par HeadlinesBriefing