Un développeur a entraîné un transformateur de 125M paramètres pour compléter automatiquement les performances de piano en temps réel, obtenant environ 108 notes par seconde sur un iPhone 15. Le système, appelé Roll Tab, fonctionne de manière similaire à GitHub Copilot mais pour la musique : les utilisateurs jouent quelques notes sur un piano MIDI, et le modèle poursuit l'exécution entièrement sur l'appareil.
Les plus grandes améliorations sont venues de la découverte de la bonne représentation MIDI, du nettoyage agressif des données d'entraînement et de l'ajout d'un entraînement post-DPO. La représentation finale utilise des jetons NOTE(pitch, delta_onset, duration, velocity), évitant la dérive des notes-off et réduisant les passes du transformateur par note. Chaque note contient cinq champs catégoriels avec des embeddings et des têtes de sortie séparées, permettant une génération efficace.
L'entraînement impliquait une perte d'entropie croisée à travers plusieurs têtes de sortie, bien que la continuation musicale manque de réponses correctes uniques. L'augmentation de données était cruciale car l'entrée en direct diffère des fichiers MIDI parfaits. Le jeu de données comprenait des centaines de milliers de fichiers MIDI nettoyés avec déduplication et filtrage.
L'application est gratuite pour les utilisateurs disposant de claviers MIDI et de appareils iOS. Les continuations d'exemple comprennent Pokémon, Final Fantasy VI et Für Elise. Les commentaires et questions sur le modèle, l'entraînement, Core ML ou les approches ayant échoué sont les bienvenus.
Entités clés : Entreprises : GitHub, Core ML | Emplacements : iPhone
Source: Hacker News · Résumé par HeadlinesBriefing