階躍星辰與ACE Studio聯合發佈了開源音樂大模型ACE-Step(中文名:音躍),標誌着音樂創作與生成技術的又一重要突破。ACE-Step是繼語音、視頻、圖片、視覺推理等多模態大模型之後的又一成果,展現了音樂創作與生成的最新進展。
ACE Studio是一家以生成式AI技術爲核心的科技公司,其產品ACE Studio是一款Gen-AI爲核心的音樂創作工作站產品,用戶遍佈全球,包括格萊美獲獎者和世界頂級的工作室。ACE-Step大模型參數量爲3.5B,具備快速高質量生成、強可控性和易於拓展等特點,支持多種語言的歌曲生成,涵蓋中、英、日、韓、西班牙、俄語等19種語言。
ACE-Step的創新架構與訓練策略提升了旋律的流暢性和歌詞的契合度,使生成的音樂在旋律、結構上更完整、更具情感表達力。作爲通用性強的音樂基礎模型,ACE-Step支持包括LoRA和ControlNet在內的多種微調方式,可靈活適配音頻編輯、人聲合成、伴奏生成、聲線克隆、風格遷移等多種下游任務,極大降低了音樂AI應用的開發門檻。
ACE-Step具備高效多元創作能力、強可控性和易於拓展的三大核心特色。它支持多種主流音樂風格的創作,能夠生成豐富多樣且兼具表現力的演唱和器樂編排,確保音樂的連貫性與和諧,並展現出風格的多樣性。此外,ACE-Step還支持高質量的純音樂生成。
ACE-Step提供兩種生成模式:快速和慢速模式,最快15秒即可生成一整首歌,慢速模式也僅需32秒。它支持19種語言的歌曲生成,滿足跨文化創作的需求。創作者可以在不改變旋律的情況下,精確修改已生成歌曲的歌詞內容、語氣或情感表達,確保每行歌詞與整體音樂風格完美契合。
ACE-Step還具備高度的可拓展性,支持LoRA、ControlNet等主流微調方式,輕鬆適配多種音樂創作場景,滿足個性化定製需求。它採用一階段DiT架構,並結合REPA技術,通過語義約束提升生成的音頻質量。同時,ACE-Step引入DCAE(深度壓縮自編碼器)技術和線性Transformer架構,顯著提升了生成速度與效率。
ACE-Step的開源發佈爲全球創作者提供了更高效和靈活的創作工具。它展現了以下優勢:全麴生成、精準時長控制、靈活輸入格式以及多語言與多風格生成。未來,階躍星辰與ACE Studio將進一步推動音樂模型技術演進,並探索在綜合泛文娛產業的落地實踐,爲全球用戶提供專業的音樂技術服務。
開源鏈接與體驗地址:
- Github:(https://github.com/ace-step/ACE-Step)