एक डेवलपर ने एक 125M-पैरामीटर ट्रांसफॉर्मर को रियल-टाइम में पियानो परफॉर्मेंस को स्वचालित रूप से पूरा करने के लिए प्रशिक्षित किया, जिससे iPhone 15 पर लगभग 108 नोट्स प्रति सेकंड प्राप्त हुए। यह सिस्टम Roll Tab कहा जाता है, जो संगीत के लिए GitHub Copilot की तरह काम करता है—उपयोगकर्ता MIDI पियानो पर कुछ नोट्स बजाते हैं, और मॉडल पूरी तरह से डिवाइस पर प्रदर्शन जारी रखता है।
सबसे बड़े सुधार MIDI प्रतिनिधित्व का सही चयन, प्रशिक्षण डेटा का आक्रामक सफ़ाई और DPO पोस्ट-ट्रेनिंग जोड़ने से आए। अंतिम प्रतिनिधित्व NOTE(पिच, delta_onset, duration, velocity) टोकन का उपयोग करता है, जो नोट-ऑफ़ ड्रिफ्ट को बचाता है और प्रति नोट ट्रांसफॉर्मर पास को कम करता है। प्रत्येक नोट में पाँच श्रेणीकृत फ़ील्ड होते हैं जिनमें अलग-अलग एम्बेडिंग और आउटपुट हेड होते हैं, जो दक्ष उत्पादन की अनुमति देते हैं।
प्रशिक्षण में कई आउटपुट हेड के साथ क्रॉस-एंट्रॉपी लॉस शामिल था, हालाँकि संगीत के निरंतर अवधारण का कोई एकल सही उत्तर नहीं होता। लाइव इनपुट से प्राइस्टाइन MIDI फ़ाइलों में अंतर होने के कारण डेटा बढ़ोतरी महत्वपूर्ण था। डेटासेट में सैकड़ों हज़ारों साफ़ किए गए MIDI फ़ाइलों के साथ डेडुप्लीकेशन और फ़िल्टरिंग शामिल थी।
ऐप MIDI कीबोर्ड और iOS डिवाइस वाले उपयोगकर्ताओं के लिए मुफ्त है। नमूना निरंतरता में Pokémon, Final Fantasy VI और Für Elise शामिल हैं। मॉडल, प्रशिक्षण, Core ML या विफल दृष्टिकोणों के बारे में टिप्पणी और प्रश्न स्वागत हैं।
प्रमुख इकाइयाँ: कंपनियाँ: GitHub, Core ML | स्थान: iPhone
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित