Ein Entwickler hat einen 125M-Parameter-Transformer trainiert, um Pianoperformances in Echtzeit zu vervollständigen, mit etwa 108 Noten pro Sekunde auf einem iPhone 15. Das System, namens Roll Tab, funktioniert ähnlich wie GitHub Copilot, aber für Musik: Benutzer spielen einige Noten auf einem MIDI-Piano, und das Modell setzt die Performance vollständig auf dem Gerät fort.
Die größten Verbesserungen kamen von der Findung der richtigen MIDI-Darstellung, aggressiver Bereinigung der Trainingsdaten und dem Hinzufügen von DPO-Post-Training. Die endgültige Darstellung verwendet NOTE(Pitch, delta_onset, duration, velocity)-Token, vermeidet Note-Off-Verschiebungen und reduziert die Transformer-Durchläufe pro Note. Jede Note enthält fünf kategoriale Felder mit separaten Einbettungen und Ausgabeköpfen, was eine effiziente Generierung ermöglicht.
Das Training beinhaltete Kreuzentropie-Verlust über mehrere Ausgabeköpfe, obwohl die musikalische Fortsetzung keine einzige richtige Antwort hat. Datenerweiterung war entscheidend, da die Live-Eingabe von reinen MIDI-Dateien abweicht. Der Datensatz enthielt hunderttausende bereinigte MIDI-Dateien mit Deduplizierung und Filterung.
Die App ist kostenlos für Benutzer mit MIDI-Tastaturen und iOS-Geräten. Beispielhafte Fortsetzungen enthalten Pokémon, Final Fantasy VI und Für Elise. Kommentare und Fragen zum Modell, Training, Core ML oder fehlgeschlagenen Ansätzen sind willkommen.
Wichtige Entitäten: Unternehmen: GitHub, Core ML | Standorte: iPhone
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing