近年來，隨着計算機視覺和動畫技術的飛速發展，生成生動的人類動畫逐漸成爲研究熱點。最新的研究成果 EchoMimicV2，利用參考圖像、音頻片段和手勢序列，創造出高質量的半身人類動畫。

簡單的說， EchoMimicV2支持輸入1張圖+1段手勢視頻+1段音頻，即可生成新的數字人，可以說輸入的音頻內容、帶着輸入的手勢和頭部動作的視頻。

image.png

EchoMimicV2的開發是爲了應對現有動畫生成技術中的一些實際挑戰。傳統的方法往往依賴多種控制條件，如音頻、姿勢或運動圖譜，這使得動畫生成變得複雜且笨重，且通常侷限於頭部的驅動。因此，研究團隊提出了一種名爲 Audio-Pose Dynamic Harmonization 的新策略，旨在簡化動畫生成過程，同時提升半身動畫的細節表現和表現力。

爲了應對半身數據的稀缺，研究者們創新性地引入了 “頭部局部注意力” 機制，這一方法能夠在訓練過程中有效地利用頭部圖像數據，並在推理階段省略這些數據，進而爲動畫生成提供了更大的靈活性。

此外，研究團隊設計了 “階段特定去噪損失”，以引導動畫在不同階段的運動、細節和低級質量表現。這種多層次的優化方法，使得生成的動畫在質量和效果上都得到了顯著提升。

爲了驗證 EchoMimicV2的有效性，研究者們還推出了一個新基準，用於評估半身人類動畫的生成效果。經過廣泛的實驗與分析，結果表明，EchoMimicV2在定量和定性評價上均超過了現有的其他方法，展示出其在動畫領域的強大潛力。

劃重點:

✨ EchoMimicV2通過簡化控制條件，實現高質量的半身人類動畫生成。  

🎨 採用 Audio-Pose Dynamic Harmonization 策略，提升動畫細節與表現力。  

📊 新基準評估方法顯示，EchoMimicV2在效果上優於現有技術。