字節聯合港大發布新視頻模型Goku：可直接生成虛擬數字人視頻

近日，香港大學與字節跳動合作研發的基於流動的視頻生成模型 Goku 正式發佈。該模型利用先進的生成算法，可以根據文本提示生成高質量的視頻內容，極大地豐富了數字藝術的表現形式。

爲了展示 Goku 模型的強大功能，研究團隊製作了一系列精彩的視頻示例，這些示例不僅展示了模型的技術能力，也展現了其在創意表現上的無限潛力。

Goku 模型的特點在於其高效的生成速度和圖像質量。通過使用大量的數據訓練，Goku 可以生成包括動畫、自然風光、動物行爲等多種場景。研究人員使用了原版的 MovieGenBench 提示進行測試，確保了演示效果的一致性和公平性。

例如，其中一個視頻展示了一位時尚女性在東京街頭自信地漫步，街道上五光十色的霓虹燈映襯出溫暖的夜色，行人熙熙攘攘，場景生動而真實。

另外一段視頻則展示了數只巨型猛獁象在雪地上悠然走過，周圍雪山和樹林的襯托，讓人彷彿置身於冰雪世界中。這些生動的場景不僅吸引觀衆的眼球，也爲藝術創作者提供了豐富的靈感。

更讓人驚豔的是，Goku 還支持直接生成虛擬數字人視頻。Goku+將文本轉換爲超現實的人類視頻，明顯優於現有的方法。特別是，它可以生成超過20秒的視頻，以穩定的手部動作和人類受試者極具表現力的面部和身體動作爲特色。

另外支持從產品圖片生成和人物互動視頻，保持產品樣式以及生成產品展示視頻，可以從文本生成廣告視頻等功能。

如下圖：Goku+將產品圖片轉化爲引人入勝的視頻片段，確保端到端的優化。這一過程增強了您的營銷材料的吸引力和有效性。

如下圖：製作逼真且極具吸引力的視頻，專門展示特定產品。這些視頻有效地捕捉了產品的精髓，提高了觀衆的參與度和興趣。

另外，模型支持文本創建定製的高清視頻，以優化廣告場景，明顯優於競爭對手的視頻基礎模型。

項目入口：https://saiyan-world.github.io/goku/

劃重點:

🌟 Goku 模型由香港大學與字節跳動合作開發，能根據文本提示生成高質量視頻內容。  

🎨 模型展示了多種場景，包括時尚女性漫步東京街頭和巨型猛獁象在雪地行走等，效果生動真實。  

💡 Goku 模型的發佈爲視覺藝術創作提供了新工具，助力創作者探索更多可能性。