Разработчик обучил трансформер с 125M параметрами для автодополнения пианино в реальном времени, достигнув около 108 нот в секунду на iPhone 15. Система, названная Roll Tab, работает аналогично GitHub Copilot, но для музыки: пользователи играют несколько нот на MIDI-пианино, а модель продолжает исполнение полностью на устройстве.
Наибольшие улучшения достигнуты благодаря подбору правильного представления MIDI, агрессивной очистке тренировочных данных и добавлению посттренировки DPO. Конечное представление использует токены NOTE(высота, delta_onset, длительность, velocity), избегая отклонения выключения нот и уменьшая количество проходов трансформера на ноту. Каждая нота содержит пять категориальных полей с отдельными эмбеддингами и выходными головками, что позволяет эффективную генерацию.
Обучение включало кросс-энтропийную потерю по нескольким выходным головкам, хотя продолжение музыки не имеет единственного правильного ответа. Увеличение данных было критически важным, поскольку живой ввод отличается от идеальных MIDI-файлов. Набор данных включал сотни тысяч очищенных MIDI-файлов с удалением дубликатов и фильтрацией.
Приложение бесплатное для пользователей с MIDI-клавиатурами и устройствами iOS. Примеры продолжений включают Pokémon, Final Fantasy VI и Für Elise. Приветствуются комментарии и вопросы о модели, обучении, Core ML или неудачных подходах.
Ключевые сущности: Компании: GitHub, Core ML | Местоположения: iPhone
Источник: Hacker News · Сводку подготовил HeadlinesBriefing