近日,B 站(嗶哩嗶哩)團隊在5月12日正式開源了一款名爲 AniSora 的動漫視頻生成模型。這個新工具使用戶能夠一鍵創建多種動漫風格的視頻片段,涵蓋系列劇集、中國原創動畫、漫畫改編、VTuber 內容、動漫宣傳片以及鬼畜動畫等類型,豐富了動漫創作的可能性。
B 站團隊指出,雖然目前市面上已經有 Sora、Kling、CogVideoX 等多款自然視頻生成模型,但在動漫視頻領域,現有技術仍顯不足。動漫以其獨特的藝術風格、誇張的動作和對現實物理規律的突破,給視頻生成帶來了不小的挑戰。因此,AniSora 的推出,將填補這一領域的空白。
AniSora 項目包含了一整套的系統,主要由以下幾個部分構成:首先是數據處理流水線,該模型訓練使用了超過1000萬條高質量的數據;其次,AniSora 引入了可控生成模型,加入了時空掩碼模塊,支持多項關鍵動畫製作功能,比如圖像生成視頻、幀插值和局部圖像引導等;最後,團隊還收集了948段多樣化的動畫視頻,建立了評測數據集,經過雙盲實驗及 VBench 測試後,得出人物一致性與運動一致性均達到了當前的最高標準(SOTA)。
爲了讓公衆更好地理解 AniSora 的強大功能,B 站還分享了一系列生成視頻的示例。比如,在一段視頻中,一個角色坐在一輛行駛的汽車上,隨風而動的頭髮展現出自然的動態;另一段中,兩位身穿紅色婚服的人物手持紅繩緩緩走向遠方;而在第三段中,金髮角色伸手輕觸跪着的人物,展現出細膩的情感表達。
AniSora 的開源地址已在 GitHub 和其他平臺發佈,感興趣的開發者和動畫愛好者們可以前往查看和使用。隨着這一技術的推出,未來我們或許能在創作和觀看動漫內容時,體驗到更多創新與驚喜。