字節發佈了DreamActor-H1視頻生成系統，只需輸入商品和角色即可生成帶貨視頻

近日，字節跳動最新發佈了DreamActor-H1視頻生成系統，用戶只需輸入商品和角色照片，即可自動生成專業級帶貨視頻，旨在通過採用擴散變換器（DiT）技術，解決現有技術在真實性和自然性方面的侷限。

傳統的視頻生成方法常常無法同時保持人和產品的身份，導致演示效果不夠真實，互動性也較差。這使得消費者在觀看產品演示時，難以獲得真實的購買感受。爲了解決這一問題，DreamActor-H1 框架提出了一種創新的方法，採用成對的人機交互參考信息，並引入了一種額外的掩蔽交叉注意力機制。通過這些技術，框架能夠更好地保持人機交互的身份特徵和產品細節，例如產品的徽標和紋理。

此外，DreamActor-H1 利用 3D 身體網格模板和產品邊界框來提供精確的動作引導，使得手勢與產品位置之間的匹配變得更加直觀。這樣的設計使得用戶在觀看視頻時，能夠感受到更真實的互動體驗。而且，框架還採用了結構化文本編碼，增強了視頻生成過程中對類別級語義的理解。這一技術特別適用於跨幀的小角度旋轉變化，從而提升了 3D 模型的一致性。

在豐富的數據增強策略和混合數據集的支持下，DreamActor-H1 在生成高保真度的人機交互演示方面，表現出色。經過嚴格的測試和評估，研究團隊發現，該框架在保持人和產品身份完整性以及生成逼真的演示動作方面，均優於現有的最先進技術。這一突破性的成果，將爲數字營銷和電子商務領域帶來新的機遇，推動產品展示方式的變革。