曾經,生成3D 圖像是一項極其困難的任務,涉及複雜的線框、軟件和硬件。但如今,情況已發生巨大改變。Stability AI 日前宣佈了一項名爲 Stable Fast3D 的新型生成式 AI 技術,可從單張圖像快速生成3D 圖像。
最牛的是,根據 Stability AI 的說法,新模型可以在半秒內生成3D 圖像。這一處理速度相比之前有了質的飛躍,此前的模型可能需要幾分鐘才能生成類似效果,而 Stable Fast3D 完成相同任務的速度竟是之前的1200倍。
產品入口:https://top.aibase.com/tool/stable-fast-3d
早在3月,Stability AI 就發佈了 Stable Video3D(SV3D),生成3D 資產需10分鐘,如今的 Stable Fast3D 進步巨大。
Stability AI 預計此新模型在多個行業具有實用價值,包括設計、建築、零售、虛擬現實和遊戲開發等。用戶可通過 Stable Assistant 聊天機器人、Stability AI API 以及社區許可證 Hugging Face 來使用該模型。
Stable Fast3D原理
Stable Fast3D 並非從零開始構建,而是從之前的 TripoSR 模型演變而來。3月,Stability AI 與3D 建模供應商 Trip AI 建立合作,致力於打造快速3D 資產生成技術。
在研究論文中,研究人員詳細介紹了 Stable Fast3D 創新的工作方法。Stable Fast3D 的核心是使用增強的 transformer 網絡從輸入圖像生成高分辨率的三平面,即3D 體積表示。該網絡旨在高效處理更大的分辨率,而不會大幅增加計算複雜性,從而實現更精細的細節捕獲並減少混疊僞影。
研究人員還詳細介紹了一種創新的材料和照明估計方法。材料估計網絡使用一種新穎的概率方法預測全局金屬和粗糙度值,該方法具有提高圖像質量和一致性的結果。
另外特別值得注意的是,Stable Fast3D 模型可以將3D 圖像所需的多個元素(包括網格、紋理和材料屬性)組合成一個緊湊、隨時可用的3D 資產。
Stability AI 最出名的或許是 Stable Diffusion 文本到圖像生成技術,但它至少從2023年11月就開始研究3D,今年3月的 Stable Video3D 提升了3D 圖像生成質量和觀看體驗。不僅如此,上週該公司還宣佈了 Stable Video4D,爲短3D 視頻生成增加了時間維度。
技術報告:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/66ab9814a3551056403508b4/1722521625313/SF3D-10.pdf
劃重點:
- 😃Stability AI 推出 Stable Fast3D 技術,半秒生成3D 圖像,速度遠超以往。
- 👍新模型在多行業有實用價值,多種途徑可供使用。
- 👏Stability AI 從2D 到4D 不斷突破,持續引領圖像生成技術發展。