在數字化時代，虛擬現實（VR）和增強現實(AR)技術正逐步改變我們的生活和工作方式。設想一下，如果能夠創建一個能模仿你每一個動作和表情的3D化身，那是怎樣的體驗？

由DGIST和Meta公司的Codec Avatars Lab聯合研發的ExAvatar，正將這一想象變爲現實。這項技術能夠通過一段視頻捕捉你的全身動作、面部表情甚至手部姿勢，並將它們轉化爲一個栩栩如生的3D數字形象。

ExAvatar的兩個創新點:首先，它採用了SMPL-X全身參數化網格模型，精確捕捉和再現人體各種姿勢;其次，結合3D高斯濺射技術（3DGS），賦予了ExAvatar更真實和高效的渲染能力。

核心功能:

  • 全身3D驅動:支持身體、手和麪部的全面動畫，生成多種姿勢和表情。

  • 混合表示法:結合3D高斯和表面網格，確保幾何和外觀一致性，減少僞影。

  • 便捷捕捉:通過短時間手機掃描即可創建3D頭像，操作簡單。

  • 高質量渲染:採用先進算法和技術，實現高質量動態表現和渲染效果。

  • 優於現有技術:在自然運動和外觀方面超越以往3D頭像生成技術，適應更廣泛應用場景。

ExAvatar解決了以往技術中的一些難題，如面部表情和姿勢的多樣性不足，以及缺乏3D掃描和深度圖像等觀測數據。通過混合表示法，ExAvatar提高了動畫的自然度，並減少了在新姿勢下可能出現的僞影。

image.png

在訓練ExAvatar之前，研究團隊對身體、手和麪部進行了SMPL-X模型的共同配準，並引入了關節偏移量和麪部偏移量，優化了手部骨骼長度和麪部區域形狀，提升了頭像的表現能力和自然度。

ExAvatar的技術架構提取了每個高斯的特徵，並通過多層感知器（MLP）處理，結合標準網格形成可在標準空間中動畫化的3D頭像。使用線性混合插值(LBS)算法進行動畫處理，並藉助3DGS技術將頭像渲染到屏幕上，確保了高質量的視覺效果。

ExAvatar的便捷性體現在用戶可以通過簡單的手機掃描創建3D頭像，支持以新穎的身體姿勢、手勢和麪部表情進行動畫，並從任何視角進行渲染。這種技術通過混合表示方法，將每個3D高斯視爲表面的一個頂點，並且這些頂點之間具有預定義的連接性，與SMPL-X的網格拓撲結構相匹配。

項目地址：https://top.aibase.com/tool/exavatar

論文地址：https://arxiv.org/pdf/2407.21686