近日,阿里雲正式宣佈通義萬相全新動作生成模型 Wan2.2-Animate 的開源,這一模型的推出將爲短視頻創作、舞蹈模板生成和動漫製作等領域帶來極大便利。用戶可以通過 GitHub、HuggingFace 和魔搭社區輕鬆下載模型及相關代碼,此外,還可以利用阿里雲的百鍊平臺調用 API,或在通義萬相官網直接體驗該模型的強大功能。

Wan2.2-Animate 模型是在之前的 Animate Anyone 模型基礎上進行全面升級的成果。在人物一致性和生成質量等方面都有了顯著提升。該模型支持兩種主要的應用模式:動作模仿和角色扮演。在動作模仿模式下,用戶只需輸入一張角色圖片和一段參考視頻,模型便能夠將視頻中的角色動作和表情遷移到用戶提供的圖片角色上,實現角色的動態表現。而在角色扮演模式中,模型則能夠在保留原視頻的動作、表情和環境的基礎上,替換視頻中的角色爲用戶提供的角色。
爲了提升生成效果,通義萬相團隊建立了一個大規模的人物視頻數據集,涵蓋了說話、面部表情和身體動作等多種元素,使用通義萬相圖生視頻模型進行後續訓練。Wan2.2-Animate 的設計使得角色信息、環境信息和動作等能夠被規範化到統一的表示格式,從而兼容兩種推理模式。針對身體運動和麪部表情,模型分別使用骨骼信號和隱式特徵,結合動作重定向模塊,實現高精度的動作和表情復刻。此外,爲了保證完美的光照效果,團隊還特別設計了一個獨立的光照融合 LoRA。
在實際應用中,Wan2.2-Animate 的表現也十分亮眼。在視頻生成質量、主體一致性和感知損失等關鍵指標上,Wan2.2-Animate 超越了許多開源模型,如 StableAnimator 和 LivePortrait,併成爲當前性能最強的動作生成模型。尤其在用戶的主觀評測中,其表現甚至超過了 Runway Act-two 等閉源模型。
這一新模型的開源,將極大推動相關領域的發展,使得創作者們能夠更輕鬆地製作出優質的動態內容。
劃重點:
🌟 ** 新模型開源 **:阿里雲的 Wan2.2-Animate 模型正式開源,用戶可在多個平臺下載和體驗。
🎭 ** 兩種模式 **:支持動作模仿和角色扮演,提升動態表現力與替換能力。
🚀 ** 性能優越 **:在多個關鍵指標上超越現有開源模型,成爲動作生成領域的佼佼者。
