近日，編程 IDE 開發商 JetBrains 宣佈推出 Developer Productivity AI Arena（DPAI Arena），這是一款業內首個開放式、多語言、多框架和多工作流的基準測試平臺。隨着 AI 技術的不斷髮展，如何評估 AI 輔助工具在軟件開發中的實際效果成爲了一項重要挑戰。DPAI Arena 的發佈旨在爲這一挑戰提供解決方案，並將最終項目交給 Linux Foundation 管理。

DPAI Arena 致力於衡量 AI 編碼智能體在真實軟件工程任務中的表現。它的設計基於靈活的路徑架構，可以對不同的工作流程進行公平且可重複的比較，例如修補、bug 修正、PR 審查、測試生成和靜態分析等。JetBrains 指出，目前的基準測試往往依賴於過時的數據集，技術範圍也相對狹窄，無法全面反映 AI 編碼工具對開發者效率的影響。

image.png

該平臺的第一項基準測試爲 Spring Benchmark，它設定了未來貢獻的技術標準。具體來說，DPAI Arena 實現了數據集創建的指導原則，並詳細說明了支持的評估格式及規則。此外，它還爲解耦基礎設施提供了基礎，允許用戶以 “自帶數據集”（BYOD）的方式進行個性化評估。

JetBrains 還計劃與 Spring AI Bench 項目團隊合作，擴展 DPAI Arena 中的 Java 基準測試流，推動 Java 生態系統的多樣性與基準測試的多路徑化。未來，JetBrains 將此項目獻給 Linux Foundation，希望通過建立多元且包容的技術指導委員會，明確平臺的發展方向。

網址:https://dpaia.dev/

劃重點:  

🌟 DPAI Arena 是業內首個開放式 AI 編碼智能體基準測試平臺，旨在評估 AI 工具在軟件開發中的效率。  

🛠️ 該平臺支持多種編程語言和工作流程，能夠公平、可重複地比較 AI 工具的性能。  

🤝 JetBrains 計劃將該項目交給 Linux Foundation，以促進更廣泛的技術指導和未來發展。