Merakit komponen kecil merupakan tantangan berat bagi robot. NIST Assembly Task Board #1 mencakup dua puluh tugas dengan komponen sekecil 4 mm, dan memasang satu bagian saja bisa memerlukan beberapa kali perubahan genggaman dan orientasi. Celah yang sempit menyisakan sedikit ruang untuk kesalahan, karena mur yang miring bisa macet atau ulirnya salah pasang. Ketika melibatkan banyak bagian, robot juga harus memutuskan urutan operasi, karena komponen yang sudah terpasang dapat menghalangi gerakan berikutnya dari pencengkeram.
Daripada menuliskan setiap manuver, para peneliti di balik AlphaNIST mengambil pendekatan berbeda. Instruksi yang ditulis tangan menuntut prediksi tentang bagaimana robot harus merespons ketika kontak dan halangan berubah, dan pencengkeram dua jari mungkin membutuhkan solusi yang sangat berbeda dari yang digunakan tangan manusia. Sebagai gantinya, robot menerima hadiah biner untuk keberhasilan tugas dan berlatih melalui pengalaman yang sangat besar dan beragam. Hal ini memberi ruang bagi robot untuk menemukan solusi yang tidak pernah dipertimbangkan para perancangnya.
Pelatihan memanfaatkan aset yang beragam dan kondisi awal yang bervariasi. Satu kebijakan dilatih pada dua puluh perakitan, dimulai dari bagian-bagian lepas, genggaman di tangan, dan perakitan parsial yang disimpan dalam simulasi. Kondisi awal yang hampir selesai memungkinkan robot berlatih menuntaskan perakitan sebelum harus menyelesaikan keseluruhan tugas. Pengambilan sampel berpedoman keberhasilan lebih menyukai kondisi awal yang diselesaikan kebijakan sekitar separuh waktu, sambil tetap memberi setiap kondisi kesempatan, sehingga latihan bergeser seiring membaiknya kebijakan.
Dalam eksperimen, satu kebijakan menjalankan kedua puluh tugas perakitan, dengan satu komponen dirakit di setiap kali percobaan. Karya yang dijelaskan dalam preprint arXiv oleh Octi Zhang dan rekan-rekannya ini dipaparkan sebagai contoh keterampilan perakitan yang muncul hanya dari hadiah tugas biner.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing