最近，來自北京大學和鵬城實驗室的研究團隊推出了一款名爲 HoloDreamer 的新型3D 場景生成框架，旨在通過用戶的文本描述生成身臨其境、完整的3D 場景。

這一框架包含兩個核心模塊:首先是 “風格化的等距全景生成”，能夠根據用戶的提示生成高質量的全景圖;其次是 “增強型兩階段全景重建”，通過3D 高斯噴塗技術快速重建全景，確保生成的場景視角一致。

image.png

項目入口：https://top.aibase.com/tool/holodreamer

在當前的虛擬現實、遊戲和影視行業中，3D 場景生成的需求越來越旺盛。藉助強大的文本到圖像擴散模型，利用簡單的文字描述生成3D 場景已成爲可能。這一突破性進展將推動文本驅動的3D 場景生成研究。

以往的方法往往採用擴展圖像的方式生成場景，這種方法容易導致場景的一致性和完整性不足。HoloDreamer 則通過生成高清全景圖作爲整個3D 場景的基礎初始化，隨後利用3D 高斯噴塗技術快速重建3D 場景，從而生成視角一致、完整的3D 場景。

具體來說，該框架的 “風格化的等距全景生成” 模塊結合多種擴散模型，可以根據複雜的文本提示生成具有風格化和細節化的全景圖。同時，該框架還採用了循環混合技術，避免了在全景旋轉時出現的裂縫。接着，團隊推出的 “增強型兩階段全景重建” 模塊則進行深度估計，並將 RGBD 數據投影，以獲取點雲信息。

image.png

通過在不同場景下準備兩種類型的攝像機，研究團隊能夠在3D 高斯噴塗優化的不同階段進行圖像集的監督，從而優化最終重建的場景。

經過全面實驗，HoloDreamer 在視覺一致性、和諧性以及重建質量和渲染魯棒性方面均超越了以往的研究成果。這一創新性的框架有望在未來的各類應用中發揮重要作用，帶來更加豐富的3D 場景體驗。

劃重點:

🌟 HoloDreamer 是一個新型的3D 場景生成框架，通過文本描述生成完整的3D 場景。  

🖼️ 框架包括兩個模塊:風格化全景生成和增強型全景重建，確保生成結果的高質量和一致性。  

🚀 HoloDreamer 在實驗中表現優異，超越了之前的3D 生成方法，爲虛擬現實和遊戲等領域提供了新的解決方案。