Ensamblar piezas pequeñas es un desafío exigente para los robots. El Tablero de Tareas de Ensamblaje NIST #1 incluye veinte tareas con componentes de tan solo 4 mm, y encajar una sola pieza puede requerir varios cambios de agarre y orientación. Las holguras ajustadas dejan poco margen de error, ya que una tuerca inclinada puede atascarse o roscarse mal. Cuando intervienen varias piezas, el robot también debe decidir el orden de las operaciones, porque un componente ya instalado puede bloquear el siguiente movimiento de la pinza.
En lugar de programar cada maniobra, los investigadores detrás de AlphaNIST adoptan un enfoque diferente. Las instrucciones codificadas a mano requieren anticipar cómo debe responder un robot a medida que cambian los contactos y las obstrucciones, y una pinza de dos dedos puede necesitar soluciones muy distintas a las que usaría una mano humana. En cambio, el robot recibe una recompensa binaria por el éxito de la tarea y entrena mediante enormes cantidades de experiencia diversa. Esto le permite descubrir soluciones que sus diseñadores nunca consideraron.
El entrenamiento aprovecha recursos heterogéneos y estados iniciales variados. Una única política se entrena en veinte ensamblajes, partiendo de piezas sueltas, agarres en mano y ensamblajes parciales almacenados en simulación. Los inicios casi completos permiten al robot practicar la finalización de un ensamblaje antes de tener que resolver la tarea completa. El muestreo guiado por el éxito favorece los estados iniciales que la política resuelve aproximadamente la mitad de las veces, aunque da a cada estado la oportunidad de aparecer, de modo que la práctica se ajusta a medida que la política mejora.
En los experimentos, una sola política realiza las veinte tareas de ensamblaje, con un componente ensamblado en cada ejecución. El trabajo, descrito en un preprint de arXiv por Octi Zhang y colaboradores, se presenta como un ejemplo de habilidades de ensamblaje emergentes que surgen únicamente de recompensas binarias por tarea.
Fuente: Hacker News · Resumido por HeadlinesBriefing