قام مطور بتدريب نموذج تحويل بمعلمات 125M لإكمال عروض البيانو في الوقت الفعلي، وتحقيق حوالي 108 ملاحظات في الثانية على جهاز iPhone 15. يعمل النظام، الذي يسمى Roll Tab، بشكل مشابه لـ GitHub Copilot لكنه مخصص للموسيقى—يقوم المستخدمون بعزف بعض الملاحظات على بيانو MIDI، ويستمر النموذج في العرض بالكامل على الجهاز.
أكبر تحسينات جاءت من العثور على التمثيل المناسب لـ MIDI، وتنظيف بيانات التدريب بشكل عدوي، وإضافة تدريب ما بعد DPO. يستخدم التمثيل النهائي رموز NOTE(الارتفاع، delta_onset، المدة، velocity)، مما يتجنب انزلاق إيقاف الملاحظات ويقلل من عدد مرات مرور النموذج على كل ملاحظة. تحتوي كل ملاحظة على خمسة حقول فئوية منفصلة مع تضمينات ورؤوس إخراج منفصلة، مما يتيح إنتاجًا فعالًا.
شمل التدريب خسران الانتروبيا المتقاطعة عبر رؤوس إخراج متعددة، على الرغم من أن استمرار الموسيقى لا يحتوي على إجابة صحيحة واحدة. كان تعزيز البيانات أمرًا بالغ الأهمية حيث يختلف الإدخال المباشر عن ملفات MIDI النقيّة. شمل مجموعة البيانات مئات الآلاف من ملفات MIDI المنقحة مع إزالة التكرار والتصفية.
التطبيق مجاني للمستخدمين الذين يمتلكون لوحات MIDI وأجهزة iOS. تشمل التكملات النموذجية Pokémon، Final Fantasy VI، وFür Elise. يُرحب بالتعليقات والأسئلة حول النموذج، والتدريب، وCore ML، أو النهج الفاشلة.
كيانات رئيسية: الشركات: GitHub، Core ML | المواقع: iPhone
المصدر: Hacker News · لخّصه HeadlinesBriefing