近日,字節跳動最新發佈了DreamActor-H1視頻生成系統,用戶只需輸入商品和角色照片,即可自動生成專業級帶貨視頻,旨在通過採用擴散變換器(DiT)技術,解決現有技術在真實性和自然性方面的侷限。

QQ20250623-145902.png

傳統的視頻生成方法常常無法同時保持人和產品的身份,導致演示效果不夠真實,互動性也較差。這使得消費者在觀看產品演示時,難以獲得真實的購買感受。爲了解決這一問題,DreamActor-H1 框架提出了一種創新的方法,採用成對的人機交互參考信息,並引入了一種額外的掩蔽交叉注意力機制。通過這些技術,框架能夠更好地保持人機交互的身份特徵和產品細節,例如產品的徽標和紋理。

此外,DreamActor-H1 利用 3D 身體網格模板和產品邊界框來提供精確的動作引導,使得手勢與產品位置之間的匹配變得更加直觀。這樣的設計使得用戶在觀看視頻時,能夠感受到更真實的互動體驗。而且,框架還採用了結構化文本編碼,增強了視頻生成過程中對類別級語義的理解。這一技術特別適用於跨幀的小角度旋轉變化,從而提升了 3D 模型的一致性。

在豐富的數據增強策略和混合數據集的支持下,DreamActor-H1 在生成高保真度的人機交互演示方面,表現出色。經過嚴格的測試和評估,研究團隊發現,該框架在保持人和產品身份完整性以及生成逼真的演示動作方面,均優於現有的最先進技術。這一突破性的成果,將爲數字營銷和電子商務領域帶來新的機遇,推動產品展示方式的變革。

DreamActor-H1 的推出不僅將爲消費者提供更加真實和互動的購物體驗,同時也爲商家提供了更有效的產品展示工具。隨着技術的不斷進步,消費者在虛擬空間中的購物體驗必將更加生動、真實、富有吸引力。無疑,DreamActor-H1 將成爲數字營銷領域的一顆新星,引領人機交互演示視頻生成的新潮流。

地址:https://submit2025-dream.github.io/DreamActor-H1/