近日，由香港科技大學與音樂領域的 DeepSeek 合作開發的開源音樂生成模型 YuE 正式發佈，震驚了不少樂迷和音樂創作者。這一模型不僅能夠生成多種風格的音樂，還可以模擬人聲，給聽衆帶來全新的音樂體驗。

YuE 的特點在於其雙 LLaMA 語言模型架構，這使其能夠無縫適配各種大語言模型，並且能夠處理長達5分鐘的完整歌曲。這一創新的設計讓 YuE 在音樂生成的質量上達到了前所未有的高度，甚至與市場上著名的閉源音樂生成工具 Suno 和 Udio 相抗衡。YuE 可以同時生成專業級的歌聲和伴奏，實現了音樂創作的端到端生成。

image.png

研究團隊在 YuE 中引入了 “雙軌版下一 token 預測” 策略，將人聲和伴奏軌道分開建模，確保了音樂創作中的細膩度和一致性。這一方法不僅提升了音質，還顯著減少了內容重構過程中的信息損失。此外，YuE 的 “結構化漸進生成” 技術讓歌曲的主副歌段落能夠在同一上下文中交替進行，進一步提高了歌曲的連貫性。

爲了避免抄襲，YuE 還開發了獨特的音樂上下文學習技術，這讓模型在創作時能夠從已有的音樂片段中學習而不重複。這一創新不僅提高了模型的音樂性，還增強了其創作的獨特性。最終，YuE 在多項評測中展現出卓越的表現，成功贏得了用戶的好評。

隨着 YuE 的發佈，音樂創作的未來將更加充滿可能性。無論你是專業音樂人還是業餘愛好者，都可以在這個平臺上體驗 AI 帶來的音樂創作樂趣。

項目地址:https://github.com/multimodal-art-projection/YuE