在數字虛擬世界構建的浪潮中,如何將一張張肖像照片轉化爲高保真的3D角色,一直是技術探索的熱點。現在,RodinHD技術的出現,可實現根據肖像生成高保真3D頭像模型,頭髮細節也有了。

image.png

產品入口:https://top.aibase.com/tool/rodinhd

RodinHD技術的核心在於其創新的三平面擬合與生成框架。在擬合階段,技術爲每個角色定製一個高分辨率的三平面,並配備一個共享解碼器來渲染逼真圖像。而在生成階段,通過學習基本和上採樣擴散模型的級聯,生成細節豐富的高分辨率三平面。這一過程中,條件肖像圖像以分層方式被注入,爲3D化身的細節呈現提供了強有力的支持。

在多角色連續擬合三平面的過程中,解碼器可能會遺忘先前角色的知識,過度適應新角色。爲了解決這一問題,RodinHD引入了任務重放的數據調度策略和權重合並正則化項,有效提升瞭解碼器對新角色細節的捕捉和呈現能力。

image.png

在高分辨率三平面擴散方面,RodinHD通過優化噪聲調度,使得32通道的三平面即使在相同噪聲水平下也更爲穩定,減少了細節的丟失。此外,爲了從肖像圖像中提取更多細節,RodinHD利用預訓練的變分自編碼器進行多尺度特徵表示的計算,確保了底層視覺細節的完整保留。

RodinHD技術的突破,不僅在於其對複雜細節如髮型的捕捉,更在於其對現有3D化身生成技術的全面革新。經過對46000個頭像的優化訓練,RodinHD生成的3D角色在細節上超越了以往任何方法,並且能夠適應各種野生肖像輸入。

合成肖像生成條件頭像

從野外肖像頭像創建

文本條件下的頭像創建

劃重點:

🛠️ **三平面擬合與生成**:RodinHD通過兩個階段——擬合與生成,爲每個角色定製高分辨率的三平面和共享解碼器。

🔄 **災難性遺忘的克服**:通過任務重放和權重合並正則化,RodinHD有效解決了解碼器在連續擬閤中的遺忘問題。

🎨 **高分辨率三平面擴散**:優化的噪聲調度和多尺度特徵表示,讓RodinHD在3D角色的細節呈現上達到了前所未有的高度。