DishwasherBench é um jogo de carregamento de lava-louças baseado em uma simulação física de uma máquina real, a Bosch SMV4HAX40G. Foi criado para avaliar modelos de linguagem e também pode ser jogado por pessoas em um navegador. O jogo interno se chama Spotless, e seus pacotes são chamados @spotless/*.
O jogador carrega um modelo 3D da lava-louças usando física de corpos rígidos. Em seguida, simula-se uma lavagem em seu programa Eco 50, abrangendo jatos, gotículas, escoamento, sujeira e química do detergente. O jogador ganha pontos por cada item que sai limpo. A partir do segundo nível, nem tudo cabe, por isso o jogador deve escolher o que carregar e como fazê-lo.
Esta é uma versão inicial, a 0.1.0. A simulação está calibrada em uma única lavagem de teste da máquina real. Uma pontuação mostra se o jogador organizou bem e posicionou xícaras, copos e panelas com a boca para baixo. Ainda não mostra se pratos e talheres foram empilhados de forma a sair limpos. A física do carregamento e os registros de episódios reproduzíveis são descritos como sólidos, enquanto a pontuação de pratos e talheres é descrita como imprecisa.
O projeto é desenvolvido e mantido pela Composo e publicado no GitHub. Inclui um curso de sete níveis ordenados por dificuldade, três formas de jogar pela página web, um servidor MCP para agentes e um sistema de benchmarking. Até agora, dois modelos jogaram seis episódios no nível oficial, e nenhuma linha de base humana foi registrada.
Fonte: Hacker News · Resumido por HeadlinesBriefing