近日,阿里巴巴 發佈了其最新技術成果 Animate Anyone2,這項突破性技術可實現視頻人物的精準替換。根據項目官網公佈的案例展示,用戶只需提供原始視頻與目標角色圖像,系統即可在保留原視頻動作軌跡的基礎上,完成人物形象的實時替換。

實驗數據顯示,系統可將足球運動員的射門動作完整遷移至動畫角色,同時保留球體運動軌跡的真實物理特性。針對影視製作中的複雜需求,該系統還支持自定義光照調節與背景環境適配,實現人物與場景的深度融合。

image.png

該系統搭載的動態骨骼綁定技術,通過精確追蹤人體28個關鍵骨骼點,能準確捕捉肢體運動軌跡與面部微表情。在公開測試視頻中,無論是舞蹈演員的連續旋轉動作,還是武術動作中的快速騰挪,替換後的角色都能保持動作連貫性。

在技術層面上,該系統採用了一種形狀無關的掩模策略,能夠更有效地描述角色與環境之間的關係。同時,爲了增強角色與周圍物體之間的互動,Animate Anyone2引入了輕量級的物體引導器。該引導器負責提取與角色互動的物體特徵,並通過空間融合技術將這些特徵注入到去噪過程中。這樣的設計使得角色在運動時與環境及物體的互動顯得更加流暢和真實。

實驗結果顯示,Animate Anyone2在生成具有環境適應性的角色動畫方面表現出色。與目前市場上的同類產品,如 Viggle 和 MIMO 相比,Animate Anyone2在角色的一致性、細節保留和互動的真實性上都展現出更高的水平。這標誌着角色動畫技術的發展邁向了新的高度。

image.png

image.png

隨着 Animate Anyone2的推出,角色動畫在遊戲、影視製作和虛擬現實等多個領域的應用潛力進一步擴大。它不僅爲動畫製作人提供了更強大的工具,也爲觀衆帶來了更加生動、真實的視覺體驗。

項目:https://humanaigc.github.io/animate-anyone-2/

劃重點:

🌍 Animate Anyone2通過捕捉環境特徵,實現角色與環境之間的真實互動。

🎨 新技術引入物體引導器和空間融合,提升角色與物體的交互效果。

🚀 相較於同類技術,Animate Anyone2在細節和一致性方面展現出明顯優勢。