DishwasherBench — это игра по загрузке посудомоечной машины, построенная на физической симуляции одной реальной машины, Bosch SMV4HAX40G. Она создана для оценки языковых моделей, но в неё также могут играть люди в браузере. Внутренняя игра называется Spotless, а её пакеты носят имена @spotless/*.
Игрок загружает 3D-модель посудомоечной машины, используя физику твёрдых тел. Затем моделируется мойка по её программе Eco 50, включающая струи, капли, сток воды, загрязнения и химию моющего средства. Игрок получает очки за каждый предмет, который выходит чистым. Начиная со второго уровня не всё помещается, поэтому игрок должен выбирать, что загружать и как.
Это ранний релиз, версия 0.1.0. Симуляция откалибрована по одной тестовой мойке реальной машины. Оценка показывает, правильно ли игрок упаковал посуду и поставил чашки, стаканы и кастрюли вверх дном. Пока она не показывает, были ли тарелки и приборы сложены так, чтобы выйти чистыми. Физика загрузки и воспроизводимые записи эпизодов описаны как надёжные, а подсчёт очков для тарелок и приборов — как грубый.
Проект разрабатывается и поддерживается компанией Composo и опубликован на GitHub. В него входят курс из семи уровней, упорядоченных по сложности, три способа игры через веб-страницу, MCP-сервер для агентов и инструмент для бенчмаркинга. На официальном уровне шесть эпизодов сыграли две модели, а базовый результат человека пока не зафиксирован.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing