蘋果公司正式發佈了其全新的視頻生成模型 STARFlow-V,該模型在底層技術上與當前主流的Sora、Veo和Runway等競爭對手完全不同。STARFlow-V 放棄了業界主流的擴散模型(Diffusion Model),轉而採用**“歸一化流”(Normalizing Flow)**技術,旨在解決長視頻片段生成中的穩定性和錯誤累積問題。

擴散模型通過多步迭代去除噪聲來生成視頻,而STARFlow-V的核心“歸一化流”技術,則直接學習隨機噪聲和複雜視頻數據之間的數學變換。這一根本性差異帶來了幾大優勢:
訓練效率:訓練過程只需一次完成,無需多次小迭代,提高了效率。
生成速度:訓練完成後可直接生成視頻,無需迭代計算,生成速度得到顯著提升。
錯誤減少:減少了逐步生成過程中常見的錯誤。
蘋果表示,STARFlow-V是首個在視覺質量和速度上能與擴散模型相媲美的同類技術。通過並行處理和重用先前幀數據,其生成五秒視頻的速度比初始版本提高了約15倍。
雙架構應對長視頻挑戰
生成長序列是當前視頻AI技術的難題,因逐幀生成容易導致誤差累積。STARFlow-V採用雙架構方法來緩解這一問題:
一個組件管理跨幀的時間序列(運動一致性)。
另一個組件優化單個幀內的細節(畫面質量)。
通過這種設計,STARFlow-V在長達30秒的演示片段中保持了穩定性,而競爭對手如NOVA和Self-Forcing在幾秒後便開始出現模糊或色彩失真。

多功能性與性能表現
該模型無需修改即可處理多種任務,包括:
文本轉視頻(Text-to-Video)。
圖像轉視頻(Image-to-Video),將輸入圖像作爲起始幀。
視頻編輯,允許用戶添加或刪除對象。
在VBench基準測試中,STARFlow-V獲得了79.7分。雖然落後於Veo3(85.06) 和 HunyuanVideo (83.24) 等頂尖擴散模型,但它明顯優於其他自迴歸模型,尤其在空間關係和人體表徵方面表現出色。
儘管技術創新顯著,STARFlow-V仍存在侷限:分辨率相對較低(640×480,16幀/秒),且目前無法在標準顯卡上實時使用。
更關鍵的是,該模型在物理模擬方面存在明顯的缺陷,例如“章魚穿過玻璃”和“石頭憑空出現”等現象。
蘋果承認這些限制,並計劃在未來工作中專注於加快計算速度、縮小模型規模,以及使用更注重物理精確性的訓練數據。相關代碼已在GitHub上發佈,模型權重將隨後在Hugging Face上公佈。
