2月18日,崑崙萬維宣佈開源中國首個面向AI短劇創作的視頻生成模型SkyReels-V1和中國首個SOTA級別的基於視頻基座模型的表情動作可控算法SkyReels-A1。這一舉措旨在解決當前AI視頻生成模型不開源、費用高、難以使用等問題,推動AI短劇行業的創新與發展。
SkyReels-V1是中國首個面向AI短劇創作的開源視頻生成模型。該模型通過結合口型生成、表情生成和肢體生成等多個生成模塊,實現了對人物表演細節的精細控制。SkyReels-V1利用千萬級別的高質量好萊塢數據進行訓練微調,顯著提升了表情生成和肢體生成的可控表演效果。
SkyReels-V1支持33種細膩人物表情與400+種自然動作組合,能夠高度還原真人情感表達。其生成的視頻具備電影級光影美學和畫面質感,能夠實現影視級人物微表情表演生成。此外,SkyReels-V1不僅支持文生視頻,還能支持圖生視頻,是開源視頻生成模型中參數最大的支持圖生視頻的模型。
在技術實現上,SkyReels-V1依託崑崙萬維自研的高質量數據清洗和人工標註管線,構建了千萬級的高質量電影、電視劇和紀錄片數據。團隊還自研了「Human-Centric」的視頻理解多模態大模型,提升了視頻中人物相關的理解能力。
SkyReels-A1是首個SOTA級別的基於視頻基座模型的表情動作可控算法。該算法支持視頻驅動的電影級表情捕捉,實現高保真微表情還原。SkyReels-A1能夠基於任意人體比例生成高度逼真的人物動態視頻,其真實感源自對人物表情變化、情緒、皮膚肌理和身體動作等多維度細節的深度還原。
SkyReels-A1支持側臉的表情控制生成,能夠實現更加逼真的眉眼微表情生成和更大幅度的頭部與自然身體動作。相比Runway的Act-One,SkyReels-A1在生成的視頻中人物不失真,表演細節更真實,能夠實現神情與身體動作的自然完美融合。
崑崙萬維一直堅持開源,推動技術平權。自2023年8月以來,公司陸續開源了大語言模型「天工」Skywork-13B系列、數字智能體全流程研發工具包AgentStudio、「天工大模型3.0」4000億參數MoE超級模型等多個模型。此次開源SkyReels-V1和SkyReels-A1,是AI短劇行業的首例,旨在爲用戶帶來低成本、可控性更強的AIGC能力。
崑崙萬維董事長兼CEO方漢表示,AIGC能力的出現將顯著降低電影製作成本,推動文化的平權。未來,崑崙萬維將繼續開源更多視頻生成模型和算法,推動AI短劇生態的持續建設和繁榮。
開源地址:
SkyReels-V1
https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1
https://github.com/SkyworkAI/SkyReels-A1
技術報告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
SkyReels官方地址:skyreels.ai