Um desenvolvedor treinou um transformador de 125M parâmetros para completar performances de piano em tempo real, atingindo aproximadamente 108 notas por segundo em um iPhone 15. O sistema, chamado Roll Tab, funciona de forma semelhante ao GitHub Copilot, mas para música: os usuários tocam algumas notas em um piano MIDI, e o modelo continua a performance inteiramente no dispositivo.
As maiores melhorias vieram da descoberta da representação MIDI correta, da limpeza agressiva dos dados de treinamento e da adição de pós-treinamento DPO. A representação final usa tokens NOTE(pitch, delta_onset, duration, velocity), evitando o desvio de notas-off e reduzindo as passagens do transformador por nota. Cada nota contém cinco campos categóricos com embeddings e cabeças de saída separadas, permitindo geração eficiente.
O treinamento envolveu perda de entropia cruzada através de múltiplas cabeças de saída, embora a continuação musical não tenha respostas corretas únicas. A augmentação de dados foi crucial, já que a entrada ao vivo difere de arquivos MIDI perfeitos. O conjunto de dados incluiu centenas de milhares de arquivos MIDI limpos com deduplicação e filtragem.
O aplicativo é gratuito para usuários com teclados MIDI e dispositivos iOS. As continuações de exemplo incluem Pokémon, Final Fantasy VI e Für Elise. Comentários e perguntas sobre o modelo, treinamento, Core ML ou abordagens que falharam são bem-vindos.
Entidades-chave: Empresas: GitHub, Core ML | Localizações: iPhone
Fonte: Hacker News · Resumido por HeadlinesBriefing