捷克布拉格技術大學和瑞士蘇黎世聯邦理工學院的研究團隊最近推出了一種名爲"WildGaussians"的創新方法，該方法顯著提升了3D高斯濺射（3DGS）技術在處理非結構化圖像集時的能力。這一突破性進展使得從網絡上收集的地標照片等非結構化圖像集實現高質量3D重建成爲可能。

WildGaussians主要解決了兩個關鍵挑戰:外觀和光照變化，以及移動物體的遮擋問題。研究團隊通過開發外觀建模和不確定性建模兩個核心組件來應對這些挑戰。

外觀建模允許系統處理在不同條件下（如不同時間或天氣）拍攝的圖像。該方法爲每個訓練圖像和高斯分佈使用可訓練的嵌入，並通過神經網絡(MLP)調整高斯分佈的顏色以適應相應的拍攝條件。

不確定性建模則有助於在訓練過程中識別和忽略行人或汽車等遮擋物。研究人員利用預先訓練的DINOv2特徵，提高了系統對景觀變化的適應能力。

QQ截圖20240717141933.png

在性能方面，WildGaussians在NeRF On-the-go和照片旅遊數據集等具有挑戰性的數據集上表現優異，質量超越了現有最先進方法。同時，該方法在Nvidia RTX4090GPU上實現了每秒處理117張圖像的實時渲染速度。

儘管WildGaussians在3D重建領域取得了重大進展，研究人員承認該方法仍存在一些侷限性，如物體上鏡面高光的表現。他們計劃在未來通過整合擴散模型等技術來進一步改進這一方法。

這項研究爲從嘈雜的用戶生成數據中實現穩健、多功能且具有照片級真實感的3D重建開闢了新的可能性，有望在虛擬現實、增強現實和計算機視覺等多個領域產生深遠影響。