Meta 3D Gen發佈，1分鐘內快速實現從文本生成3D資產

近日，研究人員發佈了一項名爲 Meta3D Gen（3DGen）的全新、快速的文本生成3D 模型的技術，3D Gen 通過高效的方式創建3D 模型，具有高質量的紋理和材質，爲用戶帶來了全新的體驗。

這一新系統結合了兩個關鍵部分：Meta 3D AssetGen 用於創建 3D 網格，Meta 3D TextureGen 用於生成紋理。這些技術共同作用，產生了具有高分辨率紋理和基於物理的渲染（PBR）材質的 3D 資產。據 Meta 稱，該過程比現有解決方案快三到十倍。

Meta3D AssetGen

其中，Meta3D AssetGen（AssetGen）是一項在文本生成3D 領域的重大突破，可實現高質量3D資產生成，僅需不到1分鐘。AssetGen 生成了基於物理渲染(PBR)材質，實現真實光照效果強大的文本到3D和文本到紋理生成能力。

AssetGen 首先生成對象的幾個視圖，包括陰影和反射通道的外觀信息，然後在3D 空間中重建顏色、金屬度和粗糙度，使用延遲着色損失進行高效監督。它還使用符號距離函數更可靠地表示3D 形狀，並引入相應的損失進行直接形狀監督。爲了提高內存效率，該方法使用了融合的卷積核。在提取網格後，一種在 UV 空間中進行紋理細化的變換器顯著提高了紋理的清晰度和細節。

與最佳競爭方法相比，AssetGen 在 Chamfer Distance 方面的改進達到了17%，在 LPIPS 方面的改進達到了40%;同時，在與同等速度的最佳行業競爭者的人類偏好測試中，獲得了72% 的青睞。

Meta3D TextureGen

研究人員還推出了 Meta3D TextureGen，這是一種新的前向方法，由兩個連續網絡組成，旨在在不到20秒的時間內爲任意複雜程度的幾何體生成高質量和全局一致的紋理。

該方法通過在2D 空間中將文本生成圖像模型與3D 語義條件結合，並將它們融合成完整且高分辨率的 UV 紋理映射，實現了質量和速度方面的最新成果。

研究人員還引入了一種紋理增強網絡，能夠按任意比例放大任何紋理，生成4K 像素分辨率的紋理。

官方博客:https://ai.meta.com/research/publications/meta-3d-gen/

劃重點:

- Meta 3D Gen 系統可以在不到一分鐘內創建高質量的 3D 資產

- Meta3D Gen 集成了Meta3D AssetGen和Meta3DTextureGen兩大核心技術。

- AssetGen 支持生成基於物理渲染的材質，具有真實的再光照效果。

- Meta3D TextureGen 是一種快速生成高質量紋理的方法，可適用於任意複雜度的幾何體。