Un desarrollador entrenó un transformador de 125M parámetros para autocompletar interpretaciones de piano en tiempo real, logrando aproximadamente 108 notas por segundo en un iPhone 15. El sistema, llamado Roll Tab, funciona de manera similar a GitHub Copilot pero para música: los usuarios tocan algunas notas en un piano MIDI, y el modelo continúa la interpretación completamente en el dispositivo.
Las mayores mejoras vinieron de encontrar la representación MIDI adecuada, limpiar agresivamente los datos de entrenamiento y agregar entrenamiento posterior DPO. La representación final utiliza tokens NOTE(pitch, delta_onset, duration, velocity), evitando la deriva de notas apagadas y reduciendo las pasadas del transformador por nota. Cada nota contiene cinco campos categóricos con embeddings y cabezas de salida separadas, permitiendo una generación eficiente.
El entrenamiento involucró pérdida de entropía cruzada a través de múltiples cabezas de salida, aunque la continuación musical carece de respuestas correctas únicas. La aumentación de datos fue crucial ya que la entrada en vivo difiere de los archivos MIDI perfectos. El conjunto de datos incluyó cientos de miles de archivos MIDI limpios con deduplicación y filtrado.
La aplicación es gratuita para usuarios con teclados MIDI y dispositivos iOS. Las continuaciones de muestra incluyen Pokémon, Final Fantasy VI y Für Elise. Se dan la bienvenida comentarios y preguntas sobre el modelo, el entrenamiento, Core ML o enfoques fallidos.
Entidades clave: Empresas: GitHub, Core ML | Ubicaciones: iPhone
Fuente: Hacker News · Resumido por HeadlinesBriefing