近日，Stability AI公司宣佈推出一項革命性的視頻處理技術——Stable Video4D。該技術能夠將單一視角的視頻轉換成8個不同角度的新視角視頻，爲創作者提供了前所未有的靈活性和創造力。

Stable Video4D建立在該公司此前推出的Stable Video Diffusion模型基礎之上。與將圖像轉換爲視頻不同，新模型可以接收視頻輸入，並生成多個新視角的視頻輸出，實現了從基於圖像的視頻生成向全3D動態視頻合成的重大飛躍。

使用時，用戶只需上傳一段視頻並指定所需的3D攝像機位置，Stable Video4D即可生成8個新視角的視頻，爲用戶提供全方位的多角度視角。目前，該模型可以在大約40秒內生成8個視角的5幀視頻，整個4D優化過程約需20-25分鐘。

與之前的方法相比，Stable Video4D能夠同時生成多個新視角視頻，大大提高了空間和時間軸上的一致性。這不僅確保了物體在多個視角和時間戳上的一致性，還實現了更輕量級的4D優化框架。

QQ_1721866365855.png

Stability AI表示，Stable Video4D目前處於研究階段，未來有望在遊戲開發、視頻編輯和虛擬現實等領域得到廣泛應用。該公司正在積極優化模型，以處理更廣泛的真實世界視頻。

Stable Video4D現已在Hugging Face平臺上開放使用。Stability AI期待通過持續的研究和開發，進一步提升這項技術創建逼真多角度視頻的潛力。該公司將繼續與研究人員、專家和社區合作，推動技術創新，不斷改進模型性能。

模型地址：https://huggingface.co/stabilityai/sv4d