近日，Meta 的人工智能研究團隊推出了一款名爲代碼世界模型（Code World Model，簡稱 CWM）的大型語言模型。

這一新模型的推出，標誌着代碼生成技術的一個重大進步，它不僅學習代碼的外觀，更關注代碼在執行時的實際功能。通過對大量代碼與其運行環境的交互數據進行訓練，CWM 建立了一個內部 “世界模型”，幫助模型理解計算系統的工作原理。

image.png

傳統的代碼生成模型通常僅僅通過預測程序中下一個指令來進行學習，這種方式在面對編程複雜性時顯得捉襟見肘。Meta 的研究團隊認爲，要真正掌握編程，模型需要理解代碼執行後的實際效果。這種理解能力對於軟件工程師至關重要，因爲他們在編寫代碼時不僅關注語法，還需考慮變量、對象和函數等組件之間的關係。

CWM 模型的訓練過程採用了新穎的方法，特別是在 “中期訓練” 階段就開始教授代碼的行爲，而不是在最後的微調階段。這一過程主要利用了兩種關鍵數據:一是 Python 代碼執行軌跡的記錄，二是基於 Docker 環境中的智能體交互數據。通過這些數據，CWM 可以更深刻地理解代碼指令對程序整體行爲的影響。

在實際應用中，CWM 展現出了優秀的性能。在多個行業基準測試中，它的表現均超過了其他同類模型。例如，在 SWE-bench Verified 基準測試中，CWM 的通過率達到了65.8%，在 LiveCodeBench 和數學推理等測試中也取得了優異的成績。雖然 CWM 的表現令人鼓舞，但研究人員也提醒，CWM 仍然處於研究階段，未進行大規模的優化，暫不適用於通用的對話助手功能。

Meta 團隊對於未來的發展持樂觀態度，他們認爲藉助世界模型知識來提升模型在多種任務中的表現仍有很大潛力。這一研究的進展表明，擁有強大的世界模型將使人工智能系統在不斷變化的真實環境中變得更加可靠和高效。

入口:https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/

劃重點:

🌐 CWM 模型不僅關注代碼的外觀，還重視代碼在執行後的實際功能，幫助模型理解計算環境的動態。

🛠️ 該模型通過中期訓練教授代碼行爲，利用 Python 執行軌跡和 Docker 環境交互數據進行學習。

📊 CWM 在多個行業基準測試中表現出色，顯示出世界模型在提升人工智能系統可靠性方面的重要性。