開発者は125MパラメータのTransformerをトレーニングして、iPhone 15でリアルタイムにピアノ演奏を自動補完し、約108ノート/秒を達成しました。このシステムはRoll Tabと呼ばれ、GitHub Copilotと似ていますが音楽用です。ユーザーはMIDIピアノでいくつかのノートを演奏し、モデルはデバイス上で完全に演奏を続けます。
最大の改善は、適切なMIDI表現の発見、トレーニングデータの積極的クリーニング、DPOポストトレーニングの追加によってもたらされました。最終的な表現はNOTE(ピッチ、delta_onset、duration、velocity)トークンを使用し、ノートオフサフトを回避し、ノートあたりのTransformerパスを減らします。各ノートには5つのカテゴリフィールドが含まれ、個別の埋め込みと出力ヘッドを持ち、効率的な生成を可能にします。
トレーニングでは複数の出力ヘッドを通じたクロスエントロピー損失を使用しましたが、音楽の続きには唯一の正解がありません。ライブ入力がクリーンなMIDIファイルと異なるため、データ拡張が重要でした。データセットには数十万のクリーニング、重複除去、フィルタリングされたMIDIファイルが含まれていました。
このアプリはMIDIキーボードとiOSデバイスを持つユーザーに無料です。サンプルの続きにはポケモン、ファイナルファンタジーVI、ベートーベンの「エリーゼ」が含まれます。モデル、トレーニング、Core ML、または失敗したアプローチについてのコメントや質問を歓迎します。
主要エンティティ：会社：GitHub、Core ML | 場所：iPhone
出典: Hacker News · 要約：HeadlinesBriefing