一位开发者训练了一个1.25亿参数的Transformer模型，在iPhone 15上实时自动补全钢琴演奏，速度达到约108个音符/秒。该系统名为Roll Tab，类似于GitHub Copilot，但专用于音乐——用户在MIDI钢琴上演奏几个音符，模型在设备上完全自动继续演奏。
最大的改进来自于找到正确的MIDI表示方式、积极清理训练数据以及添加DPO后训练。最终表示方式使用NOTE(音高、delta_onset、持续时间、velocity)标记，避免了音符关闭漂移，并减少了每个音符所需的Transformer处理次数。每个音符包含五个分类字段，分别具有独立的嵌入和输出头，从而实现高效生成。
训练过程中使用了多个输出头的交叉熵损失，尽管音乐延续没有唯一的正确答案。由于实时输入不同于完美的MIDI文件，数据增强至关重要。数据集包括数十万经过清理、去重和过滤的MIDI文件。
该应用面向拥有MIDI键盘和iOS设备的用户免费使用。示例延续包括宝可梦、最终幻想VI和贝多芬的《埃尔维塞》。欢迎就该模型、训练、Core ML或失败的方法提出评论和问题。
关键实体：公司：GitHub、Core ML | 地点：iPhone
来源: Hacker News · 由HeadlinesBriefing整理摘要