Seorang pengembang melatih transformator 125M parameter untuk melengkapi performa piano secara real-time, mencapai sekitar 108 catatan per detik pada iPhone 15. Sistem ini, yang disebut Roll Tab, bekerja mirip dengan GitHub Copilot tetapi untuk musik: pengguna memainkan beberapa catatan pada piano MIDI, dan model melanjutkan performa sepenuhnya di perangkat.
Perbaikan terbesar berasal dari menemukan representasi MIDI yang tepat, membersihkan data pelatihan secara agresif, dan menambahkan pelatihan pasca-DPO. Representasi akhir menggunakan token NOTE(pitch, delta_onset, duration, velocity), menghindari drift note-off dan mengurangi jumlah pass transformator per catatan. Setiap catatan mengandung lima bidang kategorikal dengan embedding dan kepala keluaran terpisah, memungkinkan generasi yang efisien.
Pelatihan melibatkan loss entropi silang melintasi beberapa kepala keluaran, meskipun kelanjutan musik tidak memiliki jawaban yang benar satu. Augmentasi data menjadi penting karena input langsung berbeda dari file MIDI yang sempurna. Dataset mencakup ratusan ribu file MIDI yang dibersihkan dengan deduplikasi dan penfiltran.
Aplikasi ini gratis untuk pengguna dengan keyboard MIDI dan perangkat iOS. Lanjutan contoh termasuk Pokémon, Final Fantasy VI, dan Für Elise. Komentar dan pertanyaan tentang model, pelatihan, Core ML, atau pendekatan yang gagal disambut.
Entitas kunci: Perusahaan: GitHub, Core ML | Lokasi: iPhone
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing