在近期的一項研究中，OpenAI研究團隊推出了名爲 MLE-bench 的全新基準測試，旨在評估AI智能體在機器學習工程方面的表現。

這項研究特別關注75個來自 Kaggle 的機器學習工程相關競賽，旨在測試代理在現實世界中所需的多種技能，包括模型訓練、數據集準備和實驗運行等。

image.png

爲了更好地進行評估，研究團隊使用了 Kaggle 公開排行榜的基礎數據，確立了每個競賽的人類基準。在實驗中，他們利用開源的智能體架構，對幾種前沿語言模型進行了測試。結果顯示，最佳表現的配置 ——OpenAI 的 o1-preview 與 AIDE 架構結合使用 —— 在16.9% 的競賽中，達到了 Kaggle 銅牌的水平。

不僅如此，研究團隊還對 AI 智能體的資源擴展形式進行了深入探討，並研究了預訓練對結果的污染影響。他們強調，這些研究結果爲今後進一步理解 AI 智能體在機器學習工程方面的能力提供了基礎。爲了促進未來的研究，團隊還將基準測試的代碼進行了開源，供其他研究人員使用。

這項研究的推出，標誌着機器學習領域的一次重要進展，特別是在如何評估和提升 AI 智能體的工程能力方面。科學家們希望，通過 MLE-bench，可以爲 AI 技術的發展提供更科學的評估標準和實踐依據。

項目入口:https://openai.com/index/mle-bench/

劃重點:

🌟 MLE-bench 是一個新的基準測試，旨在評估 AI 代理的機器學習工程能力。

🤖 研究涵蓋75個 Kaggle 競賽，測試智能體的模型訓練和數據處理能力。

📊 OpenAI 的 o1-preview 與 AIDE 架構組合在16.9% 的競賽中達到了 Kaggle 銅牌水平。