DishwasherBench es un juego de carga de lavavajillas basado en una simulación física de una máquina real, el Bosch SMV4HAX40G. Fue creado para evaluar modelos de lenguaje y también puede ser jugado por personas en un navegador. El juego interno se llama Spotless, y sus paquetes se denominan @spotless/*.
El jugador carga un modelo 3D del lavavajillas mediante física de cuerpos rígidos. Después se simula un lavado en su programa Eco 50, que abarca chorros, gotas, desagüe, suciedad y química del detergente. El jugador gana puntos por cada artículo que sale limpio. A partir del segundo nivel no todo cabe, por lo que el jugador debe elegir qué cargar y cómo hacerlo.
Esta es una versión temprana, la 0.1.0. La simulación está calibrada con un único lavado de prueba de la máquina real. Una puntuación muestra si el jugador colocó bien las cosas y puso tazas, vasos y ollas boca abajo. Todavía no muestra si los platos y los cubiertos se apilaron de forma que queden limpios. La física de carga y los registros de episodios reproducibles se describen como sólidos, mientras que la puntuación de platos y cubiertos se describe como imprecisa.
El proyecto está desarrollado y mantenido por Composo y se publica en GitHub. Incluye un curso de siete niveles ordenados por dificultad, tres formas de jugar desde la página web, un servidor MCP para agentes y un sistema de evaluación comparativa. Hasta ahora, dos modelos han jugado seis episodios en el nivel oficial, y todavía no se ha registrado una línea base humana.
Fuente: Hacker News · Resumido por HeadlinesBriefing