3D內容創作在增強現實（AR）、虛擬現實(VR)、遊戲和電影產業中的應用越來越廣泛，其重要性日益凸顯。隨着擴散模型和大規模3D物體數據集的發展，3D基礎模型的生成已經取得了顯著進展。然而，動態3D內容生成，即4D生成，卻面臨更大的挑戰。主要問題在於如何同時保持視覺外觀和動態運動的時空一致性。

image.png

在這項工作中，研究者們提出了一個名爲Animate3D的新型框架，旨在爲任何靜態3D模型製作動畫。Animate3D是一個由中國科學院自動化研究所和阿里巴巴集團的DAMO Academy共同研發的創新框架。

該框架的核心思想包括兩個方面:首先，提出了一種新的多視圖視頻擴散模型（MV-VDM），該模型基於靜態3D對象的多視圖渲染，並在大規模搞質量的多視圖視頻數據集(MV-Video)上進行訓練。其次，基於MV-VDM，引入了一個結合重建和4D得分蒸餾採樣(4D-SDS)的框架，利用多視圖視頻擴散先驗來動畫化3D對象。

具體來說，MV-VDM設計了一個新的時空注意力模塊，通過整合3D和視頻擴散模型來增強空間和時間的一致性。此外，他們還利用靜態3D模型的多視圖渲染作爲條件，以保持其身份。

爲了動畫化3D模型，研究人員提出了一個有效的兩階段流程:先從生成的多視圖視頻中直接重建動作，然後通過引入的4D-SDS來細化外觀和動作。定性和定量實驗表明，Animate3D在性能上顯著優於以往的方法。更令人興奮的是，他們承諾將公開發布數據、代碼和模型。

這項技術的出現，不僅爲3D內容創作帶來了新的可能，也爲AR/VR、遊戲和電影產業的應用提供了強大的支持。想象一下，未來我們或許能夠輕鬆地將任何3D模型轉化爲生動的動畫，這無疑將極大地推動創意產業的發展。

產品入口：https://top.aibase.com/tool/animate3d

劃重點:

- 🚀 **創新框架**:Animate3D，一個能夠將靜態3D模型動畫化的新型框架。

- 🎬 **多視圖視頻擴散**:通過MV-VDM和4D-SDS技術，實現高質量的3D動畫生成。

- 🌐 **廣泛應用**:技術適用於AR/VR、遊戲和電影產業，推動創意內容的發展。