DishwasherBench是一款洗碗机装载游戏,基于对一台真实机器Bosch SMV4HAX40G的物理模拟构建。它最初用于评测语言模型,人类玩家也可以在浏览器中游玩。游戏内核名为Spotless,其软件包命名为@spotless/*。
玩家使用刚体物理引擎将物品装入洗碗机的3D模型中。随后模拟其Eco 50程序的一次清洗过程,涵盖喷射水流、水滴、排水、污渍与洗涤剂化学反应。每件清洁干净取出的物品都会为玩家带来积分。从第二关开始,并非所有物品都能放得下,因此玩家必须选择装载什么以及如何装载。
这是早期版本0.1.0。模拟仅基于真实机器的一次测试清洗进行校准。分数可以反映玩家装载是否得当,以及杯子、玻璃杯和锅是否口朝下摆放。但目前它尚无法反映盘子和餐具是否以能洗干净的方式堆放。装载物理和可重放的回合记录被描述为较为可靠,而盘子和餐具的评分则被描述为尚不完善。
该项目由Composo开发和维护,并发布在GitHub上。它包含按难度排列的七关课程、通过网页游玩的三种方式、供智能体使用的MCP服务器以及一套基准测试工具。目前已有两个模型在官方等级下完成了六个回合,尚未记录人类基线成绩。
来源: Hacker News · 由HeadlinesBriefing整理摘要