5月13日，崑崙萬維集團宣佈正式開源Matrix-Game大模型，這是一款專注於交互式世界生成的先進模型，標誌着交互式世界生成技術的新突破。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工業界首個開源的10B+空間智能大模型，專爲開放式環境中的高質量生成與精確控制而設計。這一開源舉措不僅刷新了交互式世界生成的技術上限，也爲構建通用虛擬世界基座樹立了全新標杆。

Matrix-Game由三大核心部分構成:Matrix-Game-MC數據集、Matrix-Game主模型和GameWorld Score評測體系。Matrix-Game-MC數據集是一個自主構建的大規模交互世界數據集，包含大規模無標籤的Minecraft遊戲視頻和帶有鍵盤與鼠標控制信號的Minecraft與Unreal可控視頻數據，具備精細的動作註釋。這一數據集支持對複雜環境動態與交互模式的高效建模與學習。

微信截圖_20250513101341.png

Matrix-Game主模型基於先進擴散模型技術開發，能夠根據用戶輸入生成連貫、可控的互動視頻，兼顧視覺質量、時序一致性與物理合理性。該模型通過兩階段訓練策略（無標籤數據預訓練+標註數據可控訓練），在空間理解、用戶指令響應以及物理交互建模等方面取得了顯著提升。Matrix-Game具備細粒度用戶交互控制能力，支持前進、跳躍、攻擊、視角移動等細節操作，操作體驗準確自然。同時，生成結果在保持視覺連貫的同時，遵循自然物理規律，如重力、碰撞等，顯著提升沉浸感。此外，Matrix-Game還具備多場景泛化能力，涵蓋不同地形、天氣和生物羣系，並具備向非Minecraft遊戲環境泛化的潛力。

爲了系統性評估和比較交互式世界生成模型的性能，Matrix-Game提出了統一的GameWorld Score評測體系。該體系從視頻的視覺質量、時序質量、動作可控性與物理規則理解四個維度全面量化模型性能，填補了該領域缺乏系統性評測基準的空白。在GameWorld Score評測系統中，Matrix-Game在視覺質量、時間一致性、動作可控性與物理規則理解四大維度上均取得領先成績，全面超越現有開源基線模型Oasis與MineWorld。在雙盲人評實驗中，用戶更傾向於選擇Matrix-Game生成的視頻，顯示出其在交互式世界生成領域的卓越性能。

項目主頁:

https://matrix-game-homepage.github.io

技術報告:

https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf

GitHub開源地址:

https://github.com/SkyworkAI/Matrix-Game

HuggingFace開源地址:

https://huggingface.co/Skywork/Matrix-Game