IllumiNeRF：無逆渲染的 3D 重新照明 隨意切換任何光效

近日，來自谷歌研究團隊以及伊利諾伊大學厄巴納 - 香檳分校的學者們發表了題爲《無逆渲染的3D 重新照明》的研究成果。該研究針對使用未知光照條件下的一組物體圖像，以恢復能夠在目標光照下從新視點呈現的3D 表徵的可重新光照視圖合成方法進行了探討。

傳統方法基於反渲染，試圖將解釋輸入圖像的物體幾何、材料和光照進行分離。然而，這通常涉及通過可微分蒙特卡洛渲染進行優化，具有脆弱性且計算成本高昂。

因此，研究團隊提出了一種更簡單的方法IllumiNeRF:首先利用受光條件的圖像擴散模型重光每個輸入圖像，然後利用這些重光圖像重建神經輻射場（NeRF），從而在目標光照下呈現新的視角。他們證明了這種策略出人意料地具有競爭力，並在多個重光基準測試中取得了最新成果。

它具體工作原理如下:

給定 （a） 中的一組圖像和相機姿勢，研究人員運行 NeRF 來提取3D 幾何體，如 (b) 所示;

接下來，使用 （e） 中所示的重新照明擴散模型和 (f) 中顯示的每個給定圖像的樣本 S 可能的解決方案獨立地重新點亮每個輸入圖像;

最後，通過潛在NeRF優化將重新編輯的圖像集提煉成3D表示，如（g）和(h)所示。

3D 一致重新照明

第一行顯示了最終潛在 NeRF 的渲染圖;

第二行顯示了與頂部每個渲染幀相對應的最近訓練視圖的擴散樣本。

這種產品可應用於計算機圖形學、增強現實和虛擬現實領域。例如，在電影製作中，可以利用該產品在不同光照條件下呈現3D 場景，從而節省拍攝成本和時間。在虛擬現實應用中，用戶可以在不同光照環境下體驗虛擬場景，增強了真實感和沉浸感。此外，該產品還可用於數字藝術創作和建築設計等領域，爲用戶提供更靈活的光照表現和渲染效果。

產品入口：https://top.aibase.com/tool/illuminerf