近日,崑崙萬維正式宣佈開源其最新的 Matrix-Game 大模型,這一模型以其超過10億參數的規模,成爲了工業界首個開源的空間智能大模型,標誌着交互式世界生成技術的重大突破。Matrix-Game 不僅支持知名遊戲《我的世界》,還專爲開放式環境中的高質量生成和精確控制而設計。
Matrix-Game 大模型的核心在於其三大組成部分。首先是 “Matrix-Game-MC 數據集”,這個數據集通過自主構建,涵蓋了大量的 Minecraft 遊戲視頻,包括無標籤的大規模視頻以及帶有控制信號的可控視頻數據,允許開發者高效建模複雜環境中的動態與交互模式。其次,Matrix-Game 主模型利用先進的擴散模型技術,能夠根據用戶的輸入(例如鍵盤和鼠標操作)生成連貫、可控的互動視頻,兼顧視覺效果、時間一致性和物理合理性。這意味着玩家能夠在遊戲中獲得更真實的互動體驗。
最後,Matrix-Game 還引入了 GameWorld Score 評測體系,這是一個全新的遊戲交互世界評估標準,從視覺質量、時序質量、動作可控性和物理規則理解等多個維度來全面量化模型性能,填補了該領域缺乏系統性評測基準的空白。這一評測體系將幫助開發者更好地理解模型的優勢和不足。
Matrix-Game 能夠在多種 Minecraft 場景中實現可控生成,支持角色在沙漠、森林等環境中的動態行爲。用戶只需通過簡單的控制指令,即可體驗到角色的移動、跳躍和攻擊等動作。而且,這一模型支持自迴歸式的長視頻生成,確保動作與視角的無縫銜接,爲沉浸式體驗和創意內容生成奠定了堅實基礎。
崑崙萬維的 Matrix-Game 大模型不僅是技術的創新,也是遊戲開發的里程碑,期待其在未來的廣泛應用。
項目頁:https://matrix-game-homepage.github.io