斯坦福大學提出了一種名爲OccFusion的新方法,旨在實現遮擋人體的高保真度渲染。換句話說,就算人體的一部分被其他物體遮擋,OccFusion最終也能渲染出完整的人體形態。

image.png

產品入口:https://top.aibase.com/tool/occfusion

傳統的人體渲染方法通常要求視頻中人體的每個部分都完全可見,然而在現實生活中,遮擋是常見的,導致人體只能部分可見。OccFusion利用高效的3D高斯分片結合預訓練的2D擴散模型進行監督,以實現高效且高保真度的人體渲染。

該方法包括三個階段:初始化、優化和細化。在初始化階段,從部分可見性掩模中生成完整的人體掩模;在優化階段,通過條件化的得分蒸餾採樣優化人體高斯;最後,在細化階段,通過上下文修補進一步提高渲染質量。

OccFusion在ZJU-MoCap和具有挑戰性的OcMotion序列上進行了評估,表現出色,達到了遮擋人體渲染的最新水平。整個訓練過程僅需在單個Titan RTX GPU上花費10分鐘。

劃重點:

 🌟 OccFusion是一種新方法,旨在實現遮擋人體的高保真度渲染。 

🌟 該方法包括三個階段:初始化、優化和細化,通過高效的3D高斯分片和2D擴散模型監督實現。 

🌟 在ZJU-MoCap和OcMotion序列上評估,OccFusion表現出色,達到了遮擋人體渲染的最新水平。