崑崙萬維集團宣佈推出其最新技術成果SkyReels-A3模型,這是一款基於DiT(Diffusion Transformer)視頻擴散模型的音頻驅動數字人創作工具。SkyReels-A3的發佈標誌着數字內容創作領域的一大進步,它能夠實現任意時長的全模態音頻驅動數字人創作,爲用戶帶來全新的體驗。
SkyReels-A3模型的核心功能是讓靜態圖像或視頻“活”起來,通過上傳人像圖片和相應的語音,即可使圖片中的人物按照語音內容開口說話或唱歌。此外,該模型還支持創作新的視頻內容,用戶只需提供人像圖片、語音和文字提示,即可生成按照要求狀態進行表演的視頻。SkyReels-A3還能夠爲現有視頻“改臺詞”,自動匹配新的口型、表情和表演,保持畫面連貫。
該模型在文本提示詞輸入、動作交互自然度、運鏡控制以及視頻輸出時長等方面都進行了優化和提升。SkyReels-A3支持長達60秒的單分鏡視頻輸出,多分鏡支持無限時長,滿足不同創作需求。崑崙萬維還針對線上直播等實際應用場景進行了特定優化,提高了視頻生成的一致性和特定交互動作的自然度和清晰度。
SkyReels-A3的推出,不僅爲廣告、直播帶貨等商業應用提供了強有力的技術支持,也爲音樂MV、電影片段或演講視頻等藝術創作提供了更多可能性。崑崙萬維通過引入基於ControlNet結構的鏡頭控制模塊,實現了幀級別精準運鏡控制,預設了8種常見的運鏡參數,用戶可以根據需要選擇相應運鏡,並且每個運鏡的強度可0–100%連續調節,生成專業的運鏡效果。
SkyReels-A3模型的發佈,預示着數字內容創作將變得更加高效和便捷。崑崙萬維集團通過這一創新技術,爲電影製作、虛擬直播、遊戲開發與教育內容創作等領域提供了低門檻、低成本、高保真的AI技術製作方案。SkyReels-A3的推出,代表了聲音即影像的可能性,爲個性化、交互式內容的創作提供了前所未有的高效與便捷,也許下一個刷屏的爆款視頻就來自你的靈感。
SkyReels-A3項目主頁:
https://skyworkai.github.io/skyreels-a3.github.io/
SkyReels 官網地址:
https://www.skyreels.ai/home
SkyReels系列開源模型地址:
https://huggingface.co/Skywork