近期,由重建和生成創建的3D 資產已經達到了手工製作資產的質量水平,凸顯了它們在替代領域的潛力。然而,這一潛力並未得到充分實現,因爲這些資產總是需要轉換爲網格以用於3D 行業應用,而當前的網格提取方法產生的網格明顯劣於由人類藝術家創作的網格(AMs)。特別是,當前的網格提取方法依賴於密集的面,並忽略了幾何特徵,導致低效、複雜的後處理以及較低的表示質量。
爲了解決這些問題,研究人員提出了 MeshAnything,這是一種用於生成藝術家創建的3D 網格的自動迴歸模型。MeshAnything 與各種現有模型無縫集成,以生成高質量的文本/圖像/形狀條件網格生成。

產品入口:https://top.aibase.com/tool/meshanything
MeshAnything 生成的網格體顯著提高了存儲、渲染和仿真效率,同時實現了與以前方法相當的精度。
MeshAnything 的架構包括 VQ-VAE 和一個形狀條件的僅解碼器變壓器。首先,使用 VQ-VAE 學習網格詞彙,然後在該詞彙上訓練形狀條件的僅解碼器變壓器進行形狀條件的自迴歸網格生成。大量實驗證明,該方法生成的 AMs 面數比以往方法少數百倍,顯著提高了存儲、渲染和模擬效率,同時實現了與以往方法可比的精度。

通過與各種3D 資產生產方法集成,MeshAnything 實現了高度可控的藝術家創作網格生成。此外,與地面真實值相比,這種的方法在網格拓撲和麪數方面均具有優勢,並且能夠以完全不同的拓撲生成相似形狀的網格,證明了該方法不僅是簡單地過擬合,而且理解如何使用高效的拓撲構建網格。
這款產品的核心功能包括:
強大的網格生成能力:MeshAnything 藉助自迴歸變壓器技術,能夠將各種形式的輸入,如圖片、點雲等,轉化爲精細的網格模型,具有出色的生成能力和模型表現。
自動化藝術創作:MeshAnything 爲用戶提供了便捷的工具,讓藝術創作變得更加自動化和智能化,讓用戶專注於創意表達,而不用過多關注技術細節。
多樣的應用場景:MeshAnything 在各個領域都有着廣泛的應用場景,包括工業設計、藝術創作、數字娛樂等多個領域,滿足了不同用戶的創作和需求。
需要指出的的,MeshAnything 在 A6000GPU 上生成網格大約需要7GB 和30秒。受計算資源限制,MeshAnything 僅對面數少於800的網格進行訓練,無法生成面數超過800的網格。輸入網格的形狀必須足夠清晰,否則僅用800個面來表示它將非常困難。因此,前饋圖像到3D 方法通常會因形狀質量不足而產生不良結果。
試玩入口:https://huggingface.co/spaces/Yiwen-ntu/MeshAnything
