近日，字節跳動推出了一款革命性的AI視頻生成模型Seaweed APT2，其在實時視頻流生成、互動相機控制及虛擬人類生成方面的突破引發了業界熱議。這款模型以其高效的性能和創新的交互特性，被譽爲“通往虛擬全息甲板（HoloDeck）的重要一步”。

Seaweed APT2:實時視頻生成新標杆

Seaweed APT2是字節跳動Seed團隊開發的一款8億參數的生成式AI模型，專爲實時交互視頻生成設計。相較於傳統視頻生成模型，Seaweed APT2採用自迴歸對抗後訓練（AAPT）技術，通過單次網絡前向評估(1NFE)生成包含4幀視頻的潛空間幀，顯著降低了計算複雜性。

QQ20250616-145141.jpg

該模型可在單塊NVIDIA H100GPU上以24幀/秒、736×416分辨率實現實時視頻流生成，而在8塊H100GPU上可支持1280×720分辨率的高清輸出。這種高效性能使其在交互式應用場景中展現出巨大潛力。

核心功能:打造沉浸式交互體驗

Seaweed APT2的創新之處在於其強大的實時交互能力，以下爲其六大亮點:  

實時3D世界探索:用戶可通過控制相機視角（如平移、傾斜、縮放、前後移動）在生成的3D虛擬世界中自由探索，帶來沉浸式體驗。  

互動虛擬人類生成:支持實時生成並控制虛擬角色的姿勢與動作，適用於虛擬主播、遊戲角色等場景。  


高幀率視頻流:在單塊H100GPU上實現24幀/秒、640×480分辨率的流暢視頻生成，8塊GPU可支持更高清的720p輸出。  

輸入回收機制:通過將每一幀重新用作輸入，Seaweed APT2確保長視頻的動作連貫性，避免了傳統模型中常見的動作斷裂問題。  

高效計算:單次前向評估生成4幀內容，結合鍵值緩存（KV Cache）技術，支持長時間視頻生成，計算效率遠超現有模型。  

無限場景模擬:通過在潛空間中引入噪聲，模型能夠動態生成多樣化的實時場景，展現“無限可能”。  

技術突破:自迴歸對抗訓練的革新

Seaweed APT2摒棄了傳統的擴散模型多步推理模式，採用自迴歸對抗後訓練（AAPT）技術，將預訓練的雙向擴散模型轉化爲單向自迴歸生成器。這種方法通過對抗目標優化視頻的真實感和長期時間一致性，解決了傳統模型在長視頻生成中常見的動作漂移和物體變形問題。

此外，模型在**圖像到視頻（I2V）**場景中表現出色，用戶僅需提供初始幀即可生成連貫的視頻內容。這使其特別適用於交互式應用，如虛擬現實(VR)、遊戲開發和實時內容創作。

應用場景:從虛擬主播到沉浸式敘事

Seaweed APT2的實時性和交互性使其應用前景極爲廣泛:  

虛擬主播與角色動畫:通過實時姿勢控制和動作生成，Seaweed APT2可爲虛擬主播或遊戲角色提供流暢、自然的動畫效果，降低傳統Live2D或3D建模的成本。  

互動影視與教育:支持多鏡頭敘事和動態場景生成，適用於交互式短片、沉浸式教育內容等。  

虛擬現實與遊戲:通過3D相機控制和場景一致性優化，Seaweed APT2可爲VR和遊戲開發提供實時生成的動態世界，接近“星際迷航全息甲板”的體驗。  

電商與廣告:快速生成產品演示視頻或虛擬人物廣告，提升內容創作效率。

挑戰與展望:邁向AI視頻新未來

儘管Seaweed APT2在技術上取得了顯著突破，但其仍面臨一些挑戰。例如，目前模型尚未進行人類偏好對齊和進一步微調，未來在真實感與細節表現上仍有提升空間。此外，實時生成高分辨率視頻對硬件要求較高，可能限制部分用戶的接入成本。  

AIbase分析認爲，Seaweed APT2的發佈標誌着AI視頻生成領域從靜態創作向動態交互的重大轉型。字節跳動承諾未來將發佈更多技術細節甚至開源代碼，這將進一步推動社區創新。 隨着技術的持續迭代，Seaweed APT2有望成爲虛擬內容創作的“基礎設施”，爲影視、遊戲和元宇宙等領域帶來革命性變革。

行業影響:重塑AI視頻生態

相較於OpenAI的Sora或Google的Veo，Seaweed APT2以更低的參數規模和計算成本實現了媲美甚至超越的表現。這種“以小博大”的策略不僅降低了技術門檻，也爲中小型團隊和個人創作者提供了高性能的視頻生成工具。AIbase觀察到，業內對Seaweed APT2的關注度迅速升溫，其在社交媒體上的演示視頻已引發廣泛討論，展現了從單幀到長篇敘事的卓越生成能力。  

結語

字節跳動Seaweed APT2以其實時交互、3D世界探索和高幀率視頻生成的突破性功能，爲AI視頻生成領域樹立了新標杆。從虛擬人類到沉浸式敘事，這款模型正在重新定義內容創作的可能性。