DressRecon:輸入視頻就能構建出還原服裝細節的3D模型

近日，卡內基梅隆大學的研究團隊發佈了一項名爲 “DressRecon” 的新技術，旨在通過單目視頻重建時間一致的人體模型。DressRecon的厲害之處在於，不僅輸入視頻就能實現構建出3D模型，並它還能還原複雜的服裝和手持物品等細微細節。

這項技術特別適用於穿着寬鬆衣物或者與手持物體互動的場景，突破了以往技術的侷限。以往的人體重建通常要求穿着緊身衣物，或需要多視角校準捕捉數據，甚至個性化掃描，難以大規模收集。

而 “DressRecon” 的創新在於它結合了通用的人體形態先驗知識和特定視頻的形體變形，能夠在一段視頻中進行優化。

這項技術的核心是學習一個神經隱式模型，該模型能夠將身體和衣物的變形分開處理，分別建立運動模型層。

爲了捕捉衣物的細微幾何特徵，研究團隊利用了圖像基礎的先驗知識，包括人體姿態、表面法線和光流等。這些信息在優化過程中提供了額外的支持，使得重建的效果更加真實。

DressRecon 能夠從單一的視頻輸入中提取出高保真的三維模型，甚至能通過進一步優化爲明確的三維高斯體，以提高渲染質量，支持交互式可視化。

研究者展示了在一些極具挑戰性的衣物變形和物體交互的數據集上，DressRecon 所能實現的高保真三維重建效果。

此外，重建的虛擬人形象能夠從任意角度進行渲染，展示出極具視覺衝擊力的效果。團隊還對比了 DressRecon 與多個基線技術在形狀重建上的表現，結果表明，DressRecon 在處理複雜變形結構時，展現出了更高的保真度。

項目入口：https://jefftan969.github.io/dressrecon/

劃重點:  

👗 研究團隊推出 DressRecon 技術，通過單目視頻實現高質量的人體重建，尤其適用於寬鬆衣物和手持物體的場景。  

📷 利用神經隱式模型，該技術將身體與衣物變形分開處理，藉助圖像基礎的先驗知識來捕捉細微幾何特徵。  

🎥 重建結果不僅能生成高保真的三維模型，還支持從任意角度渲染，提升了可視化體驗。