新加坡國立大學的 Learning and Vision Lab 團隊最近開發了一款名爲 Video-Infinity 的分佈式長視頻生成工具。該工具能夠利用多個 GPU 快速生成長視頻,無需對現有模型進行額外訓練,每5分鐘即可產生95秒長度的2300幀視頻。
產品入口:https://top.aibase.com/tool/video-infinity
這款工具具有分佈式、高速和免訓練等特點,採用 conda 環境進行安裝,使用簡便。用戶可以根據需要進行基本配置、流水線配置和 Video-Infinity 配置,以實現不同的視頻生成需求。
同時,爲了避免高頻信息丟失,建議將本地上下文幀數量與 Attention 模型的全局上下文幀數量之和設置在24以下,以保持視頻質量和穩定性。
通過對比實驗結果,該技術不僅在視頻幀數上具有明顯優勢,而且在時間成本上也表現出色。技術團隊表示,他們的方法在8個 Nvidia Ada6000GPU 的支持下實現了這一成就,而且採用的採樣步驟設置爲30。
該技術的研究人員還進行了對抗實驗,通過消融分析 Clip Parallelism 和 Dual-scope Attention 的效果,結果顯示這兩個因素對視頻生成具有顯著影響。此外,該技術還支持多個提示(Multi-Prompts),可以實現背景、風格和主題的平滑過渡,爲視頻生成提供了更多可能性。
劃重點:
⭐️ 該技術能在5分鐘內生成具有2300幀的視頻,比先前方法快100倍;
⭐️ Clip Parallelism 和 Dual-scope Attention 對視頻生成具有顯著影響;
⭐️ 支持多個提示(Multi-Prompts),可以實現平滑過渡。