DishwasherBench adalah permainan memuat mesin pencuci piring yang dibangun di atas simulasi fisik satu mesin sungguhan, Bosch SMV4HAX40G. Permainan ini dibuat untuk menguji model bahasa dan juga dapat dimainkan oleh orang di browser. Permainan di dalamnya disebut Spotless, dan paket-paketnya diberi nama @spotless/*.
Pemain memuat model 3D mesin pencuci piring menggunakan fisika benda kaku. Kemudian sebuah siklus cuci pada program Eco 50-nya disimulasikan, meliputi semprotan, tetesan, aliran air buangan, kotoran, dan kimia deterjen. Pemain memperoleh poin untuk setiap barang yang keluar bersih. Mulai dari level kedua, tidak semuanya muat, sehingga pemain harus memilih apa yang akan dimuat dan bagaimana menatanya.
Ini adalah rilis awal, versi 0.1.0. Simulasi dikalibrasi berdasarkan satu siklus cuci uji dari mesin sungguhan. Skor menunjukkan apakah pemain menata dengan baik dan meletakkan cangkir, gelas, dan panci dengan mulut menghadap ke bawah. Skor belum menunjukkan apakah piring dan peralatan makan ditumpuk sehingga bersih saat dicuci. Fisika pemuatan dan catatan episode yang dapat diputar ulang dinilai sudah solid, sedangkan penilaian untuk piring dan peralatan makan dinilai masih kasar.
Proyek ini dibangun dan dikelola oleh Composo serta dipublikasikan di GitHub. Proyek ini mencakup kursus tujuh level yang diurutkan berdasarkan tingkat kesulitan, tiga cara bermain melalui halaman web, server MCP untuk agen, dan kerangka kerja benchmark. Sejauh ini dua model telah memainkan enam episode pada tingkat resmi, dan belum ada baseline manusia yang tercatat.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing