装配小型零件对机器人而言是一项艰巨的挑战。NIST装配任务板#1包含二十项任务，其中的零件小至4毫米，安装一个零件可能需要多次变换抓取方式和方向。狭小的间隙几乎没有容错空间，一个倾斜的螺母就可能卡住或交叉螺纹。当涉及多个零件时，机器人还必须决定操作顺序，因为已安装的部件可能会阻挡夹爪的下一步动作。
与逐一编写每个动作的脚本不同，AlphaNIST的研究人员采取了另一种方法。手工编写的指令需要预判机器人在接触和障碍物变化时应如何反应，而双指夹爪所需的解决方案可能与人手的做法大不相同。因此，机器人只会在成功时获得二元任务奖励，并通过海量且多样的经验进行训练。这使它有空间去发现设计者从未考虑过的解决方案。
训练利用了异构的资产和初始状态。单一策略在二十种装配任务上进行训练，起点包括散落的零件、手持抓取的状态以及在仿真中缓存的部分装配体。接近完成的起始状态让机器人在必须解决整个任务之前先练习完成装配。成功导向的采样偏向于策略约有一半概率解决的起始状态，同时仍让每个状态都有机会出现，因此随着策略改进，练习内容也随之调整。
在实验中，同一个策略完成了全部二十项装配任务，每次运行装配一个零件。该工作由Octi Zhang及其同事在arXiv预印本中描述，被视为仅依靠二元任务奖励即可产生涌现装配技能的一个示例。
来源: Hacker News · 由HeadlinesBriefing整理摘要