DishwasherBench – Can Frontier Models Stack a Dishwasher?

DishwasherBench is a dishwasher-loading game built on a physical simulation of one real machine, a Bosch SMV4HAX40G. It was created to benchmark language models and can also be played by people in a browser. The game inside is called Spotless, and its packages are named @spotless/*.

A player loads a 3D model of the dishwasher using rigid-body physics. A wash on its Eco 50 programme is then simulated, covering jets, droplets, run-off, soil and detergent chemistry. The player earns points for every item that comes out clean. From the second level onward, not everything fits, so the player must choose what to load and how.

This is an early release, version 0.1.0. The simulation is calibrated on a single test wash of the real machine. A score shows whether a player packed well and placed cups, glasses and pots mouth down. It does not yet show whether plates and cutlery were stacked so that they wash clean. Loading physics and replayable episode records are described as solid, while the scoring of plates and cutlery is described as rough.

The project is built and maintained by Composo and is published on GitHub. It includes a course of seven levels ordered by difficulty, three ways to play via the web page, an MCP server for agents, and a benchmarking harness. Two models have played six episodes so far at the official tier, and no human baseline has yet been recorded.

DishwasherBench لعبة تحميل غسالة أطباق مبنية على محاكاة فيزيائية لجهاز حقيقي واحد، هو Bosch SMV4HAX40G. وقد أُنشئت لقياس أداء النماذج اللغوية، ويمكن للأشخاص أيضًا لعبها في المتصفح. تُسمى اللعبة الداخلية Spotless، وتُسمى حزمها @spotless/*.

يحمّل اللاعب نموذجًا ثلاثي الأبعاد لغسالة الأطباق باستخدام فيزياء الأجسام الصلبة. ثم تُحاكى دورة غسيل في برنامجها Eco 50، وتشمل النفاثات والقطرات وتصريف المياه والأوساخ وكيمياء المنظفات. يكسب اللاعب نقاطًا عن كل قطعة تخرج نظيفة. ومن المستوى الثاني فصاعدًا لا يتسع كل شيء، لذا يجب على اللاعب أن يختار ما يحمّله وكيف يحمّله.

هذا إصدار مبكر، الإصدار 0.1.0. وقد عُيرت المحاكاة على دورة غسيل تجريبية واحدة للجهاز الحقيقي. تُظهر النتيجة ما إذا كان اللاعب قد رتّب الأشياء جيدًا ووضع الأكواب والكؤوس والأواني مقلوبة الفوهة إلى الأسفل. ولا تُظهر بعد ما إذا كانت الصحون وأدوات المائدة قد رُصّت بحيث تخرج نظيفة. ويوصف كل من فيزياء التحميل وسجلات الحلقات القابلة لإعادة التشغيل بأنها متينة، بينما يوصف تقييم الصحون وأدوات المائدة بأنه تقريبي.

المشروع من تطوير Composo وصيانته، ومنشور على GitHub. ويتضمن مسارًا من سبعة مستويات مرتبة حسب الصعوبة، وثلاث طرق للعب عبر صفحة الويب، وخادم MCP للوكلاء، وأداة للقياس المرجعي. وقد لعب نموذجان ستة حلقات حتى الآن على المستوى الرسمي، ولم يُسجَّل بعد خط أساس بشري.

DishwasherBench হলো একটি ডিশওয়াশার লোডিং গেম, যা একটি বাস্তব মেশিন, Bosch SMV4HAX40G-এর ভৌত সিমুলেশনের উপর ভিত্তি করে তৈরি। এটি ভাষা মডেল পরিমাপের জন্য তৈরি করা হয়েছিল, এবং মানুষও ব্রাউজারে এটি খেলতে পারে। এর ভেতরের গেমটির নাম Spotless, এবং এর প্যাকেজগুলো @spotless/* নামে পরিচিত।

খেলোয়াড় রিজিড-বডি পদার্থবিদ্যা ব্যবহার করে ডিশওয়াশারের একটি 3D মডেলে জিনিসপত্র লোড করে। এরপর এর Eco 50 প্রোগ্রামে একটি ধোয়ার সিমুলেশন চলে, যাতে জেট, ফোঁটা, পানির নিষ্কাশন, ময়লা এবং ডিটারজেন্টের রসায়ন অন্তর্ভুক্ত থাকে। যে প্রতিটি জিনিস পরিষ্কার হয়ে বের হয়, তার জন্য খেলোয়াড় পয়েন্ট পান। দ্বিতীয় স্তর থেকে সবকিছু ঢুকবে না, তাই খেলোয়াড়কে ঠিক করতে হয় কী লোড করবে এবং কীভাবে।

এটি একটি প্রাথমিক সংস্করণ, সংস্করণ 0.1.0। সিমুলেশনটি বাস্তব মেশিনের একটি পরীক্ষামূলক ধোয়ার উপর ভিত্তি করে ক্যালিব্রেট করা হয়েছে। একটি স্কোর দেখায় খেলোয়াড় ভালোভাবে সাজিয়েছে কি না এবং কাপ, গ্লাস ও পাত্র উল্টো করে রেখেছে কি না। এখনও এটি দেখায় না যে থালা ও কাটলারি এমনভাবে সাজানো হয়েছিল কি না যাতে সেগুলো পরিষ্কার হয়। লোডিং পদার্থবিদ্যা এবং পুনরায় চালানো যায় এমন এপিসোড রেকর্ডকে মজবুত বলা হয়েছে, আর থালা ও কাটলারির স্কোরিংকে মোটামুটি বলা হয়েছে।

প্রকল্পটি Composo দ্বারা তৈরি ও রক্ষণাবেক্ষণ করা হয় এবং GitHub-এ প্রকাশিত। এতে কঠিনতা অনুযায়ী সাজানো সাতটি স্তরের একটি কোর্স, ওয়েব পেজ থেকে খেলার তিনটি উপায়, এজেন্টদের জন্য একটি MCP সার্ভার এবং একটি বেঞ্চমার্কিং হার্নেস রয়েছে। এখন পর্যন্ত দুটি মডেল অফিসিয়াল স্তরে ছয়টি এপিসোড খেলেছে, এবং এখনও কোনো মানব বেসলাইন রেকর্ড করা হয়নি।

DishwasherBench ist ein Geschirrspüler-Beladespiel, das auf einer physikalischen Simulation einer realen Maschine beruht, des Bosch SMV4HAX40G. Es wurde entwickelt, um Sprachmodelle zu bewerten, und kann auch von Menschen im Browser gespielt werden. Das Spiel im Inneren heißt Spotless, und seine Pakete tragen den Namen @spotless/*.

Der Spieler belädt ein 3D-Modell des Geschirrspülers mithilfe von Starrkörperphysik. Danach wird ein Waschgang im Programm Eco 50 simuliert, der Düsen, Tröpfchen, Ablauf, Verschmutzung und die Chemie des Waschmittels umfasst. Der Spieler erhält Punkte für jeden Gegenstand, der sauber herauskommt. Ab der zweiten Stufe passt nicht mehr alles hinein, daher muss der Spieler entscheiden, was er einlädt und wie.

Dies ist eine frühe Version, 0.1.0. Die Simulation ist auf einen einzelnen Testwaschgang der realen Maschine kalibriert. Eine Punktzahl zeigt, ob der Spieler gut gepackt und Tassen, Gläser und Töpfe mit der Öffnung nach unten platziert hat. Sie zeigt noch nicht, ob Teller und Besteck so gestapelt wurden, dass sie sauber werden. Die Beladephysik und die wiederholbaren Episodenaufzeichnungen gelten als solide, während die Bewertung von Tellern und Besteck als grob beschrieben wird.

Das Projekt wird von Composo entwickelt und betreut und auf GitHub veröffentlicht. Es umfasst einen Kurs mit sieben nach Schwierigkeit geordneten Stufen, drei Spielmöglichkeiten über die Webseite, einen MCP-Server für Agenten und ein Benchmarking-Gerüst. Bisher haben zwei Modelle sechs Episoden auf der offiziellen Stufe gespielt, und eine menschliche Ausgangsbasis wurde noch nicht erfasst.

DishwasherBench es un juego de carga de lavavajillas basado en una simulación física de una máquina real, el Bosch SMV4HAX40G. Fue creado para evaluar modelos de lenguaje y también puede ser jugado por personas en un navegador. El juego interno se llama Spotless, y sus paquetes se denominan @spotless/*.

El jugador carga un modelo 3D del lavavajillas mediante física de cuerpos rígidos. Después se simula un lavado en su programa Eco 50, que abarca chorros, gotas, desagüe, suciedad y química del detergente. El jugador gana puntos por cada artículo que sale limpio. A partir del segundo nivel no todo cabe, por lo que el jugador debe elegir qué cargar y cómo hacerlo.

Esta es una versión temprana, la 0.1.0. La simulación está calibrada con un único lavado de prueba de la máquina real. Una puntuación muestra si el jugador colocó bien las cosas y puso tazas, vasos y ollas boca abajo. Todavía no muestra si los platos y los cubiertos se apilaron de forma que queden limpios. La física de carga y los registros de episodios reproducibles se describen como sólidos, mientras que la puntuación de platos y cubiertos se describe como imprecisa.

El proyecto está desarrollado y mantenido por Composo y se publica en GitHub. Incluye un curso de siete niveles ordenados por dificultad, tres formas de jugar desde la página web, un servidor MCP para agentes y un sistema de evaluación comparativa. Hasta ahora, dos modelos han jugado seis episodios en el nivel oficial, y todavía no se ha registrado una línea base humana.

DishwasherBench est un jeu de chargement de lave-vaisselle fondé sur une simulation physique d'une machine réelle, le Bosch SMV4HAX40G. Il a été créé pour évaluer des modèles de langage et peut aussi être joué par des personnes dans un navigateur. Le jeu interne s'appelle Spotless, et ses paquets sont nommés @spotless/*.

Le joueur charge un modèle 3D du lave-vaisselle à l'aide d'une physique de corps rigides. Un lavage sur son programme Eco 50 est ensuite simulé, couvrant les jets, les gouttelettes, l'écoulement, la saleté et la chimie de la lessive. Le joueur gagne des points pour chaque objet qui ressort propre. À partir du deuxième niveau, tout ne rentre pas, le joueur doit donc choisir quoi charger et comment.

Il s'agit d'une version préliminaire, la 0.1.0. La simulation est calibrée sur un seul lavage d'essai de la machine réelle. Un score indique si le joueur a bien rangé et placé tasses, verres et casseroles la bouche vers le bas. Il ne montre pas encore si les assiettes et les couverts ont été empilés de façon à ressortir propres. La physique du chargement et les enregistrements d'épisodes rejouables sont décrits comme solides, tandis que la notation des assiettes et des couverts est décrite comme approximative.

Le projet est développé et maintenu par Composo et publié sur GitHub. Il comprend un parcours de sept niveaux classés par difficulté, trois façons de jouer via la page web, un serveur MCP pour les agents et un outil de benchmarking. Deux modèles ont joué six épisodes au niveau officiel jusqu'ici, et aucune référence humaine n'a encore été enregistrée.

DishwasherBench एक डिशवॉशर-लोडिंग गेम है, जो एक असली मशीन, Bosch SMV4HAX40G, के भौतिक सिमुलेशन पर आधारित है। इसे भाषा मॉडलों का मूल्यांकन करने के लिए बनाया गया था, और इसे ब्राउज़र में लोग भी खेल सकते हैं। इसके भीतर के गेम को Spotless कहा जाता है, और इसके पैकेज @spotless/* नाम से हैं।

खिलाड़ी रिजिड-बॉडी फ़िज़िक्स का उपयोग करके डिशवॉशर के 3D मॉडल में सामान लोड करता है। इसके बाद इसके Eco 50 प्रोग्राम पर एक धुलाई का सिमुलेशन चलता है, जिसमें जेट, बूंदें, पानी का बहाव, गंदगी और डिटर्जेंट की रसायन विज्ञान शामिल है। हर वह चीज़ जो साफ़ होकर निकलती है, उसके लिए खिलाड़ी को अंक मिलते हैं। दूसरे स्तर से आगे सब कुछ नहीं आता, इसलिए खिलाड़ी को तय करना होता है कि क्या लोड करना है और कैसे।

यह एक शुरुआती रिलीज़ है, संस्करण 0.1.0। सिमुलेशन असली मशीन की एक परीक्षण धुलाई पर कैलिब्रेट किया गया है। स्कोर से पता चलता है कि खिलाड़ी ने सामान ठीक से पैक किया या नहीं, और कप, गिलास और बर्तन उल्टे रखे या नहीं। यह अभी यह नहीं बताता कि प्लेट और कटलरी इस तरह रखी गईं या नहीं कि वे साफ़ धुलें। लोडिंग फ़िज़िक्स और दोहराने योग्य एपिसोड रिकॉर्ड ठोस बताए गए हैं, जबकि प्लेट और कटलरी की स्कोरिंग को मोटा बताया गया है।

प्रोजेक्ट Composo द्वारा बनाया और रखरखाव किया जाता है, और GitHub पर प्रकाशित है। इसमें कठिनाई के क्रम में सात स्तरों का कोर्स, वेब पेज से खेलने के तीन तरीके, एजेंटों के लिए एक MCP सर्वर और एक बेंचमार्किंग हार्नेस शामिल है। अब तक दो मॉडलों ने आधिकारिक स्तर पर छह एपिसोड खेले हैं, और अभी तक कोई मानव बेसलाइन दर्ज नहीं हुई है।

DishwasherBench adalah permainan memuat mesin pencuci piring yang dibangun di atas simulasi fisik satu mesin sungguhan, Bosch SMV4HAX40G. Permainan ini dibuat untuk menguji model bahasa dan juga dapat dimainkan oleh orang di browser. Permainan di dalamnya disebut Spotless, dan paket-paketnya diberi nama @spotless/*.

Pemain memuat model 3D mesin pencuci piring menggunakan fisika benda kaku. Kemudian sebuah siklus cuci pada program Eco 50-nya disimulasikan, meliputi semprotan, tetesan, aliran air buangan, kotoran, dan kimia deterjen. Pemain memperoleh poin untuk setiap barang yang keluar bersih. Mulai dari level kedua, tidak semuanya muat, sehingga pemain harus memilih apa yang akan dimuat dan bagaimana menatanya.

Ini adalah rilis awal, versi 0.1.0. Simulasi dikalibrasi berdasarkan satu siklus cuci uji dari mesin sungguhan. Skor menunjukkan apakah pemain menata dengan baik dan meletakkan cangkir, gelas, dan panci dengan mulut menghadap ke bawah. Skor belum menunjukkan apakah piring dan peralatan makan ditumpuk sehingga bersih saat dicuci. Fisika pemuatan dan catatan episode yang dapat diputar ulang dinilai sudah solid, sedangkan penilaian untuk piring dan peralatan makan dinilai masih kasar.

Proyek ini dibangun dan dikelola oleh Composo serta dipublikasikan di GitHub. Proyek ini mencakup kursus tujuh level yang diurutkan berdasarkan tingkat kesulitan, tiga cara bermain melalui halaman web, server MCP untuk agen, dan kerangka kerja benchmark. Sejauh ini dua model telah memainkan enam episode pada tingkat resmi, dan belum ada baseline manusia yang tercatat.

DishwasherBenchは、実在する一台の機械、Bosch SMV4HAX40Gの物理シミュレーションに基づいた食洗機積み込みゲームです。言語モデルを評価するために作られましたが、ブラウザ上で人も遊ぶことができます。内部のゲームはSpotlessと呼ばれ、そのパッケージは@spotless/*という名前です。

プレイヤーは剛体物理を使って、食洗機の3Dモデルに食器を積み込みます。その後、Eco 50コースでの洗浄が、噴射、水滴、排水、汚れ、洗剤の化学的作用を含めてシミュレーションされます。きれいに仕上がった品目ごとに、プレイヤーはポイントを獲得します。第2レベル以降は全部が入るわけではないため、プレイヤーは何を、どのように積み込むかを選ばなければなりません。

これは初期リリース、バージョン0.1.0です。シミュレーションは実機の一回のテスト洗浄に基づいて調整されています。スコアは、プレイヤーが上手に詰め込み、カップ、グラス、鍋を逆さまに置けたかどうかを示します。ただし、皿とカトラリーがきれいに洗われるように重ねられていたかは、まだ示しません。積み込みの物理とリプレイ可能なエピソード記録は確かなものとされていますが、皿とカトラリーの採点は大まかだとされています。

このプロジェクトはComposoによって開発・保守されており、GitHubで公開されています。難易度順に並んだ7レベルのコース、ウェブページからの3つのプレイ方法、エージェント向けのMCPサーバー、ベンチマーク用のハーネスが含まれています。これまでに2つのモデルが公式ティアで6エピソードをプレイしましたが、人間の基準値はまだ記録されていません。

DishwasherBench é um jogo de carregamento de lava-louças baseado em uma simulação física de uma máquina real, a Bosch SMV4HAX40G. Foi criado para avaliar modelos de linguagem e também pode ser jogado por pessoas em um navegador. O jogo interno se chama Spotless, e seus pacotes são chamados @spotless/*.

O jogador carrega um modelo 3D da lava-louças usando física de corpos rígidos. Em seguida, simula-se uma lavagem em seu programa Eco 50, abrangendo jatos, gotículas, escoamento, sujeira e química do detergente. O jogador ganha pontos por cada item que sai limpo. A partir do segundo nível, nem tudo cabe, por isso o jogador deve escolher o que carregar e como fazê-lo.

Esta é uma versão inicial, a 0.1.0. A simulação está calibrada em uma única lavagem de teste da máquina real. Uma pontuação mostra se o jogador organizou bem e posicionou xícaras, copos e panelas com a boca para baixo. Ainda não mostra se pratos e talheres foram empilhados de forma a sair limpos. A física do carregamento e os registros de episódios reproduzíveis são descritos como sólidos, enquanto a pontuação de pratos e talheres é descrita como imprecisa.

O projeto é desenvolvido e mantido pela Composo e publicado no GitHub. Inclui um curso de sete níveis ordenados por dificuldade, três formas de jogar pela página web, um servidor MCP para agentes e um sistema de benchmarking. Até agora, dois modelos jogaram seis episódios no nível oficial, e nenhuma linha de base humana foi registrada.

DishwasherBench — это игра по загрузке посудомоечной машины, построенная на физической симуляции одной реальной машины, Bosch SMV4HAX40G. Она создана для оценки языковых моделей, но в неё также могут играть люди в браузере. Внутренняя игра называется Spotless, а её пакеты носят имена @spotless/*.

Игрок загружает 3D-модель посудомоечной машины, используя физику твёрдых тел. Затем моделируется мойка по её программе Eco 50, включающая струи, капли, сток воды, загрязнения и химию моющего средства. Игрок получает очки за каждый предмет, который выходит чистым. Начиная со второго уровня не всё помещается, поэтому игрок должен выбирать, что загружать и как.

Это ранний релиз, версия 0.1.0. Симуляция откалибрована по одной тестовой мойке реальной машины. Оценка показывает, правильно ли игрок упаковал посуду и поставил чашки, стаканы и кастрюли вверх дном. Пока она не показывает, были ли тарелки и приборы сложены так, чтобы выйти чистыми. Физика загрузки и воспроизводимые записи эпизодов описаны как надёжные, а подсчёт очков для тарелок и приборов — как грубый.

Проект разрабатывается и поддерживается компанией Composo и опубликован на GitHub. В него входят курс из семи уровней, упорядоченных по сложности, три способа игры через веб-страницу, MCP-сервер для агентов и инструмент для бенчмаркинга. На официальном уровне шесть эпизодов сыграли две модели, а базовый результат человека пока не зафиксирован.

DishwasherBench是一款洗碗机装载游戏,基于对一台真实机器Bosch SMV4HAX40G的物理模拟构建。它最初用于评测语言模型,人类玩家也可以在浏览器中游玩。游戏内核名为Spotless,其软件包命名为@spotless/*。

玩家使用刚体物理引擎将物品装入洗碗机的3D模型中。随后模拟其Eco 50程序的一次清洗过程,涵盖喷射水流、水滴、排水、污渍与洗涤剂化学反应。每件清洁干净取出的物品都会为玩家带来积分。从第二关开始,并非所有物品都能放得下,因此玩家必须选择装载什么以及如何装载。

这是早期版本0.1.0。模拟仅基于真实机器的一次测试清洗进行校准。分数可以反映玩家装载是否得当,以及杯子、玻璃杯和锅是否口朝下摆放。但目前它尚无法反映盘子和餐具是否以能洗干净的方式堆放。装载物理和可重放的回合记录被描述为较为可靠,而盘子和餐具的评分则被描述为尚不完善。

该项目由Composo开发和维护,并发布在GitHub上。它包含按难度排列的七关课程、通过网页游玩的三种方式、供智能体使用的MCP服务器以及一套基准测试工具。目前已有两个模型在官方等级下完成了六个回合,尚未记录人类基线成绩。