上傳一段音樂秒變鋼琴曲！AMT-APC算法一鍵生成大師級鋼琴演奏

近日，武蔵野大學數據科學學院的研究人員開發了一種名爲 AMT-APC 的全新算法，可以更加精準地自動生成鋼琴曲。這項技術利用了自動音樂轉錄 （AMT） 模型的優勢，通過對其進行微調，使其能夠更好地捕捉音樂的細節和表現力，從而生成更接近原曲的鋼琴演奏版本。

一直以來，自動生成鋼琴曲的技術面臨着音質保真度和表現力不足的挑戰。現有的模型往往只能生成簡單的旋律和節奏，無法捕捉到原曲中豐富的細節和情感。

而 AMT-APC 算法則另闢蹊徑，它首先利用預先訓練好的 AMT 模型準確地“捕捉”音樂中的各種聲音，然後通過微調將其應用於自動鋼琴演奏 （APC） 任務。

AMT-APC 算法的核心在於兩步走策略:

第一步:預訓練。研究人員選擇了一種名爲 hFT-Transformer 的高性能 AMT 模型作爲基礎，並利用 MAESTRO 數據集對其進行了進一步的訓練，使其能夠處理更長的音樂片段。

第二步:微調。研究人員創建了一個包含原曲音頻和鋼琴演奏 MIDI 文件的配對數據集，並使用該數據集對 AMT 模型進行微調，使其能夠生成更符合原曲風格的鋼琴演奏版本。

爲了使生成的鋼琴曲更具表現力，研究人員還引入了一個名爲“風格向量”的概念。風格向量是從每個鋼琴演奏版本中提取的一組特徵，包括音符起始速率分佈、力度分佈和音高分佈。通過將風格向量與原曲音頻一起輸入模型，AMT-APC 算法能夠學習到不同的演奏風格，並將其體現在生成的鋼琴曲中。

實驗結果表明，與現有的自動鋼琴演奏模型相比，AMT-APC 算法生成的鋼琴曲在音質保真度和表現力方面都有顯著提升。通過使用一種名爲 Qmax 的指標來評估原曲和生成音頻之間的相似度，AMT-APC 模型取得了最低的 Qmax 值，這意味着它能夠更好地還原原曲的特徵。

這項研究表明，AMT 和 APC 是高度相關的任務，利用現有的 AMT 研究成果可以幫助我們開發出更先進的 APC 模型。未來，研究人員計劃進一步探索更適合 APC 應用的 AMT 模型，以期實現更逼真、更具表現力的自動鋼琴演奏。

項目地址：https://misya11p.github.io/amt-apc/

論文地址：https://arxiv.org/pdf/2409.14086