騰訊ARC實驗室聯合香港城市大學近日震撼發佈了一項名爲“AnimeGamer”的創新性研究項目,這款獨特的工具能夠實現無限的動漫人生模擬,並具備預測下一遊戲狀態的強大能力。這意味着,用戶將有機會以前所未有的方式沉浸於自己喜愛的動漫世界中,通過開放式的自然語言指令,與遊戲中的動態環境進行實時互動。
化身動漫主角,暢享無限互動
AnimeGamer最引人注目的特點在於其能夠提供可以生成主體一致的無限長度的動畫視頻,還給裏面的角色配置了體力、心情等數據。用戶不僅可以扮演經典動漫中的角色,例如《懸崖上的金魚姬》裏的宗介,更可以通過簡單的語言指令與周圍的世界進行交互。
更令人興奮的是,AnimeGamer能夠打破次元壁,讓來自不同動漫作品的角色實現夢幻般的聯動。
想象一下,《魔女宅急便》的琪琪與《天空之城》的巴魯相遇,琪琪向巴魯傳授她的飛行技巧,這樣的場景在AnimeGamer中將成爲可能。這款工具展現了其強大的泛化能力,能夠理解和執行不同動漫角色和動作之間的互動,爲用戶開啓了無限的創意空間。
技術突破:多模態大語言模型驅動沉浸體驗
AnimeGamer之所以能夠實現如此強大的功能,其核心在於採用了先進的多模態大型語言模型(MLLMs)。該模型負責生成每一幀遊戲狀態,包括生動形象的角色動畫以及角色各項數值的更新。
AnimeGamer的訓練過程分爲三個關鍵階段:首先,通過一個編碼器對包含動作信息的多模態數據進行建模,並訓練一個基於擴散模型的解碼器來重建視頻,同時還會輸入表示動作強度的運動範圍信息;其次,訓練一個MLLM,以用戶的歷史指令和當前的遊戲狀態作爲輸入,預測下一個遊戲狀態的各種表現;最後,通過一個優化階段,利用MLLM的預測結果對解碼器進行微調,從而進一步提升生成動畫的質量。
AnimeGamer的問世,無疑爲動漫文化愛好者和人工智能研究領域注入了新的活力。其通過自然語言交互驅動的無限動漫人生模擬以及對未來遊戲狀態的預測等核心功能,充分展示了多模態大語言模型在創意內容生成方面的巨大潛力。隨着更多功能的解鎖和完善,AnimeGamer有望成爲一個充滿無限可能和驚喜的動漫互動新平臺。
項目入口:https://top.aibase.com/tool/animegamer