アップロードした曲を一瞬でピアノ曲に変換！AMT-APCアルゴリズムでマスター級のピアノ演奏をワンクリック生成

武蔵野大学データサイエンス学部は、より正確なピアノ曲自動生成を可能にするAMT-APCという新しいアルゴリズムを開発しました。この技術は、自動音楽転写（AMT）モデルの利点を活用し、微調整することで、音楽の細部と表現力をより的確に捉え、原曲により近いピアノ演奏版を生成します。

これまで、ピアノ曲の自動生成技術は、音質の忠実度と表現力の不足という課題に直面していました。既存のモデルは、単純なメロディーとリズムしか生成できず、原曲の豊かなディテールや感情を捉えることができません。

AMT-APCアルゴリズムは、まず事前に学習済みのAMTモデルを使用して音楽内の様々な音を正確に「捉え」、それを微調整することで自動ピアノ演奏（APC）タスクに適用するという独自の道を歩みます。

AMT-APCアルゴリズムの中核は、二段階の戦略です:

第一步:事前学習。研究者らは、高性能AMTモデルであるhFT-Transformerを選択し、MAESTROデータセットを使用してさらに学習を行い、より長い音楽片段を処理できるようにしました。

第二歩:微調整。研究者らは、原曲のオーディオとピアノ演奏MIDIファイルのペアデータセットを作成し、このデータセットを使用してAMTモデルを微調整することで、原曲のスタイルにより沿ったピアノ演奏版を生成できるようにしました。

生成されたピアノ曲をより表現力豊かにするために、「スタイルベクトル」という概念が導入されました。スタイルベクトルは、音符開始速度分布、強弱分布、音高分布など、各ピアノ演奏版から抽出された特徴の集合です。スタイルベクトルを原曲オーディオと共にモデルに入力することで、AMT-APCアルゴリズムは様々な演奏スタイルを学習し、生成されたピアノ曲に反映させることができます。

実験結果によると、AMT-APCアルゴリズムで生成されたピアノ曲は、既存の自動ピアノ演奏モデルと比較して、音質の忠実度と表現力が大幅に向上しました。原曲と生成オーディオの類似度を評価する指標であるQmaxを用いて評価した結果、AMT-APCモデルは最も低いQmax値を達成し、原曲の特徴をより正確に再現できることを示しました。

この研究は、AMTとAPCが密接に関連するタスクであり、既存のAMT研究成果を活用することで、より高度なAPCモデルを開発できることを示しています。今後は、よりAPCに適したAMTモデルを探求し、よりリアルで表現力豊かな自動ピアノ演奏の実現を目指します。

プロジェクトアドレス：https://misya11p.github.io/amt-apc/

論文アドレス：https://arxiv.org/pdf/2409.14086