AlphaNIST

Assembling small parts is a demanding challenge for robots. The NIST Assembly Task Board #1 includes twenty tasks with components as small as 4 mm, and fitting a single part can require several changes of grasp and orientation. Tight clearances leave little margin for error, since a tilted nut can jam or cross-thread. When multiple parts are involved, the robot must also decide the order of operations, because an installed component may block the gripper's next move.

Rather than scripting every maneuver, researchers behind AlphaNIST take a different approach. Hand-coded instructions require anticipating how a robot should respond as contacts and obstructions change, and a two-finger gripper may need solutions very different from those a human hand would use. Instead, the robot receives a binary task reward for success and trains through vast amounts of diverse experience. This gives it room to discover solutions its designers never considered.

Training draws on heterogeneous assets and starting states. A single policy trains across twenty assemblies, beginning from loose parts, in-hand grasps, and partial assemblies cached in simulation. Near-complete starts let the robot practice finishing an assembly before it must solve the whole task. Success-guided sampling favors starting states the policy solves about half the time while still giving every state a chance, so practice shifts as the policy improves.

In experiments, one policy performs all twenty assembly tasks, with a single component assembled in each run. The work, described in an arXiv preprint by Octi Zhang and colleagues, is presented as an example of emergent assembly skills arising from binary task rewards alone.

يُعدّ تجميع الأجزاء الصغيرة تحديًا صعبًا للروبوتات. تتضمن لوحة مهام التجميع NIST رقم 1 عشرين مهمة بمكونات يصل صغرها إلى 4 ملم، وقد يتطلب تركيب جزء واحد عدة تغييرات في القبضة والاتجاه. وتترك الخلوصات الضيقة هامشًا ضئيلًا للخطأ، إذ قد تعلق صامولة مائلة أو تتداخل خيوطها بشكل خاطئ. وعندما تشارك أجزاء متعددة، يجب على الروبوت أيضًا أن يحدد ترتيب العمليات، لأن مكونًا مركبًا قد يعيق حركة الذراع التالية.

وبدلًا من برمجة كل مناورة، يتبع الباحثون وراء AlphaNIST نهجًا مختلفًا. فالتعليمات المكتوبة يدويًا تتطلب توقع كيفية استجابة الروبوت مع تغير التلامس والعوائق، وقد تحتاج قبضة ذات إصبعين إلى حلول تختلف كثيرًا عن تلك التي تستخدمها اليد البشرية. وبدلًا من ذلك، يتلقى الروبوت مكافأة ثنائية عند النجاح في المهمة، ويتدرب عبر كمّ هائل من التجارب المتنوعة. وهذا يمنحه مساحة لاكتشاف حلول لم يفكر فيها مصمموه.

يعتمد التدريب على أصول متنوعة وحالات بداية مختلفة. تتدرب سياسة واحدة على عشرين عملية تجميع، تبدأ من أجزاء منفصلة، ومن قبضات ممسوكة في اليد، ومن تجميعات جزئية محفوظة في المحاكاة. وتتيح حالات البداية شبه المكتملة للروبوت التدرب على إنهاء التجميع قبل أن يضطر إلى حل المهمة كاملة. ويُفضّل أخذ العينات الموجه بالنجاح الحالات التي تحلها السياسة نحو نصف المرات، مع منح كل حالة فرصة، فيتغير التدريب مع تحسن السياسة.

في التجارب، تنفذ سياسة واحدة جميع مهام التجميع العشرين، مع تجميع مكون واحد في كل تشغيل. ويقدم العمل، الموصوف في نسخة أولية على arXiv من قبل Octi Zhang وزملائه، كمثال على مهارات تجميع ناشئة تنشأ من المكافآت الثنائية للمهام وحدها.

ছোট যন্ত্রাংশ জোড়া লাগানো রোবটের জন্য একটি কঠিন চ্যালেঞ্জ। NIST Assembly Task Board #1-এ বিশটি কাজ রয়েছে, যেখানে উপাদানের আকার মাত্র 4 মিমি, এবং একটি একক যন্ত্রাংশ বসাতে একাধিকবার ধরার ও অবস্থানের পরিবর্তন লাগতে পারে। আঁটসাঁট ফাঁকে ভুলের সুযোগ কম, কারণ একটি বাঁকা বাদাম আটকে যেতে পারে বা প্যাঁচ ভুলভাবে লেগে যেতে পারে। যখন একাধিক যন্ত্রাংশ জড়িত থাকে, তখন রোবটকে কাজের ক্রমও ঠিক করতে হয়, কারণ ইতিমধ্যে বসানো উপাদান গ্রিপারের পরের নড়াচড়াকে বাধা দিতে পারে।

প্রতিটি নড়াচড়া স্ক্রিপ্ট করার বদলে AlphaNIST-এর গবেষকরা ভিন্ন পথ নিয়েছেন। হাতে লেখা নির্দেশে আগাম ভাবতে হয় যে সংস্পর্শ ও বাধা বদলালে রোবট কীভাবে সাড়া দেবে, এবং দুই-আঙুলের গ্রিপারের জন্য মানব হাতের চেয়ে সম্পূর্ণ আলাদা সমাধান লাগতে পারে। বরং রোবট সফলতার জন্য একটি বাইনারি কাজের পুরস্কার পায় এবং বিশাল পরিমাণ বৈচিত্র্যময় অভিজ্ঞতার মাধ্যমে শেখে। এতে এমন সমাধান আবিষ্কারের সুযোগ তৈরি হয় যা এর নির্মাতারা কখনো ভাবেননি।

প্রশিক্ষণে বিভিন্ন ধরনের উপাদান ও ভিন্ন ভিন্ন শুরুর অবস্থা ব্যবহৃত হয়। একটি একক নীতি বিশটি অ্যাসেম্বলিতে প্রশিক্ষণ নেয়, যা শুরু হয় আলগা যন্ত্রাংশ, হাতে ধরা অবস্থা এবং সিমুলেশনে সংরক্ষিত আংশিক অ্যাসেম্বলি থেকে। প্রায় সম্পূর্ণ শুরুর অবস্থা রোবটকে পুরো কাজ সমাধানের আগে অ্যাসেম্বলি শেষ করার অনুশীলন করতে দেয়। সফলতা-নির্দেশিত স্যাম্পলিং সেই শুরুর অবস্থাগুলোকে অগ্রাধিকার দেয় যেগুলো নীতি প্রায় অর্ধেক সময় সমাধান করে, তবু প্রতিটি অবস্থার সুযোগ রাখে, ফলে নীতির উন্নতির সঙ্গে অনুশীলনও বদলায়।

পরীক্ষায় একটি একক নীতি বিশটি অ্যাসেম্বলি কাজই সম্পন্ন করে, প্রতিবার একটি উপাদান জুড়ে। Octi Zhang ও সহকর্মীদের একটি arXiv প্রিপ্রিন্টে বর্ণিত এই কাজটিকে কেবল বাইনারি কাজের পুরস্কার থেকে উদীয়মান অ্যাসেম্বলি দক্ষতার একটি উদাহরণ হিসেবে উপস্থাপন করা হয়েছে।

Das Montieren kleiner Teile ist für Roboter eine anspruchsvolle Herausforderung. Das NIST Assembly Task Board #1 umfasst zwanzig Aufgaben mit Bauteilen von nur 4 mm, und das Einsetzen eines einzigen Teils kann mehrere Wechsel von Griff und Ausrichtung erfordern. Enge Toleranzen lassen kaum Spielraum für Fehler, denn eine schief sitzende Mutter kann klemmen oder sich verkanten. Wenn mehrere Teile beteiligt sind, muss der Roboter außerdem die Reihenfolge der Arbeitsschritte festlegen, weil ein bereits montiertes Bauteil die nächste Bewegung des Greifers blockieren kann.

Statt jede Bewegung zu programmieren, verfolgen die Forscher hinter AlphaNIST einen anderen Ansatz. Handgeschriebene Anweisungen erfordern, vorherzusehen, wie der Roboter auf wechselnde Kontakte und Hindernisse reagieren soll, und ein Zweifingergreifer benötigt womöglich Lösungen, die sich stark von denen einer menschlichen Hand unterscheiden. Stattdessen erhält der Roboter eine binäre Aufgabenbelohnung für den Erfolg und lernt durch enorme Mengen unterschiedlicher Erfahrungen. So kann er Lösungen finden, an die seine Entwickler nie gedacht haben.

Das Training stützt sich auf heterogene Bausätze und unterschiedliche Startzustände. Eine einzige Strategie wird über zwanzig Montagen trainiert, beginnend mit losen Teilen, Griffen in der Hand und teilmontierten Baugruppen, die in der Simulation zwischengespeichert sind. Nahezu fertige Startzustände erlauben dem Roboter, das Vervollständigen einer Montage zu üben, bevor er die ganze Aufgabe lösen muss. Erfolgsgesteuertes Sampling bevorzugt Startzustände, die die Strategie etwa in der Hälfte der Fälle löst, gibt jedem Zustand aber dennoch eine Chance. Das Training verändert sich also mit der Verbesserung der Strategie.

In den Experimenten führt eine einzige Strategie alle zwanzig Montageaufgaben aus, wobei in jedem Durchlauf ein Bauteil montiert wird. Die Arbeit, beschrieben in einem arXiv-Preprint von Octi Zhang und Kollegen, wird als Beispiel für emergente Montagefähigkeiten dargestellt, die allein aus binären Aufgabenbelohnungen entstehen.

Ensamblar piezas pequeñas es un desafío exigente para los robots. El Tablero de Tareas de Ensamblaje NIST #1 incluye veinte tareas con componentes de tan solo 4 mm, y encajar una sola pieza puede requerir varios cambios de agarre y orientación. Las holguras ajustadas dejan poco margen de error, ya que una tuerca inclinada puede atascarse o roscarse mal. Cuando intervienen varias piezas, el robot también debe decidir el orden de las operaciones, porque un componente ya instalado puede bloquear el siguiente movimiento de la pinza.

En lugar de programar cada maniobra, los investigadores detrás de AlphaNIST adoptan un enfoque diferente. Las instrucciones codificadas a mano requieren anticipar cómo debe responder un robot a medida que cambian los contactos y las obstrucciones, y una pinza de dos dedos puede necesitar soluciones muy distintas a las que usaría una mano humana. En cambio, el robot recibe una recompensa binaria por el éxito de la tarea y entrena mediante enormes cantidades de experiencia diversa. Esto le permite descubrir soluciones que sus diseñadores nunca consideraron.

El entrenamiento aprovecha recursos heterogéneos y estados iniciales variados. Una única política se entrena en veinte ensamblajes, partiendo de piezas sueltas, agarres en mano y ensamblajes parciales almacenados en simulación. Los inicios casi completos permiten al robot practicar la finalización de un ensamblaje antes de tener que resolver la tarea completa. El muestreo guiado por el éxito favorece los estados iniciales que la política resuelve aproximadamente la mitad de las veces, aunque da a cada estado la oportunidad de aparecer, de modo que la práctica se ajusta a medida que la política mejora.

En los experimentos, una sola política realiza las veinte tareas de ensamblaje, con un componente ensamblado en cada ejecución. El trabajo, descrito en un preprint de arXiv por Octi Zhang y colaboradores, se presenta como un ejemplo de habilidades de ensamblaje emergentes que surgen únicamente de recompensas binarias por tarea.

L'assemblage de petites pièces est un défi exigeant pour les robots. Le NIST Assembly Task Board #1 comprend vingt tâches avec des composants aussi petits que 4 mm, et la mise en place d'une seule pièce peut nécessiter plusieurs changements de prise et d'orientation. Les jeux serrés laissent peu de marge d'erreur, car un écrou incliné peut se coincer ou se visser de travers. Lorsque plusieurs pièces sont en jeu, le robot doit aussi décider de l'ordre des opérations, car un composant déjà installé peut bloquer le mouvement suivant de la pince.

Plutôt que de programmer chaque manœuvre, les chercheurs derrière AlphaNIST adoptent une approche différente. Les instructions codées à la main exigent d'anticiper la réaction du robot à mesure que les contacts et les obstructions évoluent, et une pince à deux doigts peut nécessiter des solutions très différentes de celles qu'utiliserait une main humaine. Le robot reçoit plutôt une récompense binaire pour le succès de la tâche et s'entraîne grâce à de vastes quantités d'expériences variées. Il dispose ainsi d'une marge pour découvrir des solutions que ses concepteurs n'avaient jamais envisagées.

L'entraînement s'appuie sur des ressources hétérogènes et des états initiaux variés. Une seule politique s'entraîne sur vingt assemblages, en partant de pièces détachées, de prises en main et d'assemblages partiels conservés en simulation. Les départs presque complets permettent au robot de s'exercer à terminer un assemblage avant de devoir résoudre la tâche entière. L'échantillonnage guidé par le succès privilégie les états initiaux que la politique résout environ une fois sur deux, tout en laissant à chaque état une chance d'être tiré, si bien que l'entraînement évolue à mesure que la politique s'améliore.

Dans les expériences, une seule politique réalise les vingt tâches d'assemblage, un seul composant étant assemblé à chaque essai. Ces travaux, décrits dans une prépublication arXiv par Octi Zhang et ses collègues, sont présentés comme un exemple de compétences d'assemblage émergentes issues des seules récompenses binaires de tâche.

छोटे पुर्जों को जोड़ना रोबोट के लिए एक कठिन चुनौती है। NIST असेंबली टास्क बोर्ड #1 में बीस कार्य शामिल हैं, जिनके घटक केवल 4 मिमी जितने छोटे हैं, और एक ही पुर्जा फिट करने के लिए पकड़ और दिशा में कई बदलाव करने पड़ सकते हैं। तंग क्लीयरेंस में गलती की गुंजाइश बहुत कम होती है, क्योंकि एक तिरछा नट अटक सकता है या गलत तरह से चूड़ी चढ़ सकता है। जब कई पुर्जे शामिल होते हैं, तो रोबोट को संचालन का क्रम भी तय करना होता है, क्योंकि लगाया गया घटक ग्रिपर की अगली गति को रोक सकता है।

हर गति को स्क्रिप्ट करने के बजाय, AlphaNIST के शोधकर्ता अलग तरीका अपनाते हैं। हाथ से लिखे निर्देशों में यह अनुमान लगाना पड़ता है कि संपर्क और बाधाएँ बदलने पर रोबोट को कैसे प्रतिक्रिया देनी चाहिए, और दो-उंगली वाले ग्रिपर को ऐसे समाधान चाहिए हो सकते हैं जो मानव हाथ के समाधानों से बहुत अलग हों। इसके बजाय, रोबोट को सफलता के लिए एक बाइनरी कार्य इनाम मिलता है और वह विविध अनुभवों के विशाल भंडार से प्रशिक्षण लेता है। इससे उसे ऐसे समाधान खोजने की गुंजाइश मिलती है जिनके बारे में उसके डिज़ाइनरों ने सोचा भी नहीं था।

प्रशिक्षण विविध संसाधनों और शुरुआती स्थितियों पर आधारित है। एक ही नीति बीस असेंबली पर प्रशिक्षित होती है, जो ढीले पुर्जों, हाथ में पकड़ी गई स्थितियों और सिमुलेशन में सहेजे गए आंशिक असेंबली से शुरू होती है। लगभग पूर्ण शुरुआती स्थितियाँ रोबोट को पूरी कार्य हल करने से पहले असेंबली पूरी करने का अभ्यास देती हैं। सफलता-निर्देशित नमूनाकरण उन शुरुआती स्थितियों को प्राथमिकता देता है जिन्हें नीति लगभग आधी बार हल करती है, फिर भी हर स्थिति को मौका देता है, इसलिए नीति सुधरने के साथ अभ्यास भी बदलता है।

प्रयोगों में, एक ही नीति सभी बीस असेंबली कार्य करती है, और हर रन में एक घटक जोड़ा जाता है। Octi Zhang और सहयोगियों द्वारा एक arXiv प्रीप्रिंट में वर्णित यह कार्य केवल बाइनरी कार्य इनाम से उभरते असेंबली कौशल का उदाहरण माना गया है।

Merakit komponen kecil merupakan tantangan berat bagi robot. NIST Assembly Task Board #1 mencakup dua puluh tugas dengan komponen sekecil 4 mm, dan memasang satu bagian saja bisa memerlukan beberapa kali perubahan genggaman dan orientasi. Celah yang sempit menyisakan sedikit ruang untuk kesalahan, karena mur yang miring bisa macet atau ulirnya salah pasang. Ketika melibatkan banyak bagian, robot juga harus memutuskan urutan operasi, karena komponen yang sudah terpasang dapat menghalangi gerakan berikutnya dari pencengkeram.

Daripada menuliskan setiap manuver, para peneliti di balik AlphaNIST mengambil pendekatan berbeda. Instruksi yang ditulis tangan menuntut prediksi tentang bagaimana robot harus merespons ketika kontak dan halangan berubah, dan pencengkeram dua jari mungkin membutuhkan solusi yang sangat berbeda dari yang digunakan tangan manusia. Sebagai gantinya, robot menerima hadiah biner untuk keberhasilan tugas dan berlatih melalui pengalaman yang sangat besar dan beragam. Hal ini memberi ruang bagi robot untuk menemukan solusi yang tidak pernah dipertimbangkan para perancangnya.

Pelatihan memanfaatkan aset yang beragam dan kondisi awal yang bervariasi. Satu kebijakan dilatih pada dua puluh perakitan, dimulai dari bagian-bagian lepas, genggaman di tangan, dan perakitan parsial yang disimpan dalam simulasi. Kondisi awal yang hampir selesai memungkinkan robot berlatih menuntaskan perakitan sebelum harus menyelesaikan keseluruhan tugas. Pengambilan sampel berpedoman keberhasilan lebih menyukai kondisi awal yang diselesaikan kebijakan sekitar separuh waktu, sambil tetap memberi setiap kondisi kesempatan, sehingga latihan bergeser seiring membaiknya kebijakan.

Dalam eksperimen, satu kebijakan menjalankan kedua puluh tugas perakitan, dengan satu komponen dirakit di setiap kali percobaan. Karya yang dijelaskan dalam preprint arXiv oleh Octi Zhang dan rekan-rekannya ini dipaparkan sebagai contoh keterampilan perakitan yang muncul hanya dari hadiah tugas biner.

小さな部品の組み立ては、ロボットにとって難度の高い課題です。NIST組み立てタスクボード#1には、最小4mmの部品を用いる20の課題が含まれており、1つの部品を取り付けるにも何度かの持ち替えや向きの変更が必要になることがあります。すき間がわずかなため許容誤差はほとんどなく、ナットが傾くと引っかかったり、ねじ山がずれて噛み合ったりすることがあります。複数の部品が関わる場合、ロボットは作業の順序も判断しなければなりません。取り付け済みの部品がグリッパーの次の動きを妨げることがあるからです。

AlphaNISTの研究者たちは、すべての動作を事前にプログラムするのではなく、別のアプローチを採りました。手作業で書いた指示では、接触や障害物が変化するたびにロボットがどう反応すべきかを予測しておく必要があります。また、二本指のグリッパーでは、人間の手が使うものとは大きく異なる解決策が必要になることもあります。そこで、ロボットには課題の成功に対する二値報酬だけを与え、多様な経験を大量に積ませて学習させます。これにより、設計者が想定しなかった解決策を発見する余地が生まれます。

学習には、異なる部品や多様な初期状態が用いられます。1つのポリシーが20種類の組み立てを学習し、その開始点は、ばらばらの部品、手に持った状態、シミュレーション上に保存された部分組み立て品などです。ほぼ完成した状態から始めることで、ロボットは課題全体を解く前に、組み立ての仕上げを練習できます。成功を重視したサンプリングは、ポリシーがおよそ半分の確率で解ける初期状態を優先しつつ、すべての状態にも機会を与えるため、ポリシーの改善に伴って練習内容も変化していきます。

実験では、1つのポリシーで20種類すべての組み立て課題を実行し、各試行では1つの部品を組み立てました。Octi Zhangらによるarxivプレプリントで説明されているこの研究は、二値のタスク報酬だけから組み立ての技能が自然に現れる例として紹介されています。

Montar pequenas peças é um desafio exigente para os robôs. O NIST Assembly Task Board #1 inclui vinte tarefas com componentes de apenas 4 mm, e encaixar uma única peça pode exigir várias mudanças de pegada e orientação. Folgas apertadas deixam pouca margem para erros, já que uma porca inclinada pode emperrar ou rosquear torto. Quando várias peças estão envolvidas, o robô também precisa decidir a ordem das operações, porque um componente já instalado pode bloquear o próximo movimento da garra.

Em vez de programar cada manobra, os pesquisadores por trás do AlphaNIST adotam uma abordagem diferente. Instruções codificadas à mão exigem prever como o robô deve reagir conforme os contatos e obstruções mudam, e uma garra de dois dedos pode precisar de soluções muito diferentes das que uma mão humana usaria. Em vez disso, o robô recebe uma recompensa binária pelo sucesso da tarefa e treina por meio de grandes quantidades de experiências diversas. Isso lhe dá espaço para descobrir soluções que seus projetistas nunca consideraram.

O treinamento utiliza recursos heterogêneos e estados iniciais variados. Uma única política treina em vinte montagens, começando por peças soltas, pegadas na mão e montagens parciais armazenadas em simulação. Partidas quase completas permitem ao robô praticar a finalização de uma montagem antes de precisar resolver a tarefa inteira. A amostragem guiada pelo sucesso favorece estados iniciais que a política resolve cerca de metade das vezes, mas ainda dá a cada estado uma chance, de modo que a prática muda conforme a política melhora.

Nos experimentos, uma única política executa as vinte tarefas de montagem, com um componente montado em cada execução. O trabalho, descrito em um preprint no arXiv por Octi Zhang e colegas, é apresentado como um exemplo de habilidades de montagem emergentes surgidas apenas de recompensas binárias por tarefa.

Сборка мелких деталей — сложная задача для роботов. На тестовой плате NIST Assembly Task Board #1 есть двадцать заданий с компонентами размером всего 4 мм, а установка одной детали может потребовать нескольких смен захвата и ориентации. Жёсткие зазоры оставляют мало места для ошибки: перекошенная гайка может заклинить или сорвать резьбу. Когда задействовано несколько деталей, робот также должен решить порядок операций, поскольку уже установленный компонент может мешать следующему движению захвата.

Вместо того чтобы программировать каждое движение, исследователи, стоящие за AlphaNIST, выбрали другой подход. Инструкции, написанные вручную, требуют предвидеть, как робот должен реагировать при изменении контактов и препятствий, а двухпальцевому захвату могут понадобиться решения, сильно отличающиеся от тех, которые использовала бы человеческая рука. Вместо этого робот получает бинарную награду за успешное выполнение задачи и обучается на огромном количестве разнообразного опыта. Это даёт ему возможность находить решения, которые его разработчики не рассматривали.

Обучение опирается на разнородные ресурсы и различные начальные состояния. Одна политика обучается на двадцати сборках, начиная с россыпи деталей, захватов в руке и частично собранных узлов, сохранённых в симуляции. Почти готовые стартовые состояния позволяют роботу отрабатывать завершение сборки до того, как ему придётся решать всю задачу целиком. Выборка с учётом успеха отдаёт предпочтение тем начальным состояниям, которые политика решает примерно в половине случаев, но при этом каждому состоянию даётся шанс, поэтому практика меняется по мере улучшения политики.

В экспериментах одна политика выполняет все двадцать задач сборки, причём в каждом запуске собирается один компонент. Работа, описанная в препринте на arXiv Октаем Чжаном и его коллегами, представлена как пример возникающих навыков сборки, которые появляются только благодаря бинарным наградам за задачи.

装配小型零件对机器人而言是一项艰巨的挑战。NIST装配任务板#1包含二十项任务，其中的零件小至4毫米，安装一个零件可能需要多次变换抓取方式和方向。狭小的间隙几乎没有容错空间，一个倾斜的螺母就可能卡住或交叉螺纹。当涉及多个零件时，机器人还必须决定操作顺序，因为已安装的部件可能会阻挡夹爪的下一步动作。

与逐一编写每个动作的脚本不同，AlphaNIST的研究人员采取了另一种方法。手工编写的指令需要预判机器人在接触和障碍物变化时应如何反应，而双指夹爪所需的解决方案可能与人手的做法大不相同。因此，机器人只会在成功时获得二元任务奖励，并通过海量且多样的经验进行训练。这使它有空间去发现设计者从未考虑过的解决方案。

训练利用了异构的资产和初始状态。单一策略在二十种装配任务上进行训练，起点包括散落的零件、手持抓取的状态以及在仿真中缓存的部分装配体。接近完成的起始状态让机器人在必须解决整个任务之前先练习完成装配。成功导向的采样偏向于策略约有一半概率解决的起始状态，同时仍让每个状态都有机会出现，因此随着策略改进，练习内容也随之调整。

在实验中，同一个策略完成了全部二十项装配任务，每次运行装配一个零件。该工作由Octi Zhang及其同事在arXiv预印本中描述，被视为仅依靠二元任务奖励即可产生涌现装配技能的一个示例。