斯坦福大學提出了一種名爲OccFusion的新方法,旨在實現遮擋人體的高保真度渲染。換句話說,就算人體的一部分被其他物體遮擋,OccFusion最終也能渲染出完整的人體形態。
產品入口:https://top.aibase.com/tool/occfusion
傳統的人體渲染方法通常要求視頻中人體的每個部分都完全可見,然而在現實生活中,遮擋是常見的,導致人體只能部分可見。OccFusion利用高效的3D高斯分片結合預訓練的2D擴散模型進行監督,以實現高效且高保真度的人體渲染。
該方法包括三個階段:初始化、優化和細化。在初始化階段,從部分可見性掩模中生成完整的人體掩模;在優化階段,通過條件化的得分蒸餾採樣優化人體高斯;最後,在細化階段,通過上下文修補進一步提高渲染質量。
OccFusion在ZJU-MoCap和具有挑戰性的OcMotion序列上進行了評估,表現出色,達到了遮擋人體渲染的最新水平。整個訓練過程僅需在單個Titan RTX GPU上花費10分鐘。
劃重點:
🌟 OccFusion是一種新方法,旨在實現遮擋人體的高保真度渲染。
🌟 該方法包括三個階段:初始化、優化和細化,通過高效的3D高斯分片和2D擴散模型監督實現。
🌟 在ZJU-MoCap和OcMotion序列上評估,OccFusion表現出色,達到了遮擋人體渲染的最新水平。