L'assemblage de petites pièces est un défi exigeant pour les robots. Le NIST Assembly Task Board #1 comprend vingt tâches avec des composants aussi petits que 4 mm, et la mise en place d'une seule pièce peut nécessiter plusieurs changements de prise et d'orientation. Les jeux serrés laissent peu de marge d'erreur, car un écrou incliné peut se coincer ou se visser de travers. Lorsque plusieurs pièces sont en jeu, le robot doit aussi décider de l'ordre des opérations, car un composant déjà installé peut bloquer le mouvement suivant de la pince.
Plutôt que de programmer chaque manœuvre, les chercheurs derrière AlphaNIST adoptent une approche différente. Les instructions codées à la main exigent d'anticiper la réaction du robot à mesure que les contacts et les obstructions évoluent, et une pince à deux doigts peut nécessiter des solutions très différentes de celles qu'utiliserait une main humaine. Le robot reçoit plutôt une récompense binaire pour le succès de la tâche et s'entraîne grâce à de vastes quantités d'expériences variées. Il dispose ainsi d'une marge pour découvrir des solutions que ses concepteurs n'avaient jamais envisagées.
L'entraînement s'appuie sur des ressources hétérogènes et des états initiaux variés. Une seule politique s'entraîne sur vingt assemblages, en partant de pièces détachées, de prises en main et d'assemblages partiels conservés en simulation. Les départs presque complets permettent au robot de s'exercer à terminer un assemblage avant de devoir résoudre la tâche entière. L'échantillonnage guidé par le succès privilégie les états initiaux que la politique résout environ une fois sur deux, tout en laissant à chaque état une chance d'être tiré, si bien que l'entraînement évolue à mesure que la politique s'améliore.
Dans les expériences, une seule politique réalise les vingt tâches d'assemblage, un seul composant étant assemblé à chaque essai. Ces travaux, décrits dans une prépublication arXiv par Octi Zhang et ses collègues, sont présentés comme un exemple de compétences d'assemblage émergentes issues des seules récompenses binaires de tâche.
Source: Hacker News · Résumé par HeadlinesBriefing