近日，编程 IDE 开发商 JetBrains 宣布推出 Developer Productivity AI Arena（DPAI Arena），这是一款业内首个开放式、多语言、多框架和多工作流的基准测试平台。随着 AI 技术的不断发展，如何评估 AI 辅助工具在软件开发中的实际效果成为了一项重要挑战。DPAI Arena 的发布旨在为这一挑战提供解决方案，并将最终项目交给 Linux Foundation 管理。

DPAI Arena 致力于衡量 AI 编码智能体在真实软件工程任务中的表现。它的设计基于灵活的路径架构，可以对不同的工作流程进行公平且可重复的比较，例如修补、bug 修正、PR 审查、测试生成和静态分析等。JetBrains 指出，目前的基准测试往往依赖于过时的数据集，技术范围也相对狭窄，无法全面反映 AI 编码工具对开发者效率的影响。

image.png

该平台的第一项基准测试为 Spring Benchmark，它设定了未来贡献的技术标准。具体来说，DPAI Arena 实现了数据集创建的指导原则，并详细说明了支持的评估格式及规则。此外，它还为解耦基础设施提供了基础，允许用户以 “自带数据集”（BYOD）的方式进行个性化评估。

JetBrains 还计划与 Spring AI Bench 项目团队合作，扩展 DPAI Arena 中的 Java 基准测试流，推动 Java 生态系统的多样性与基准测试的多路径化。未来，JetBrains 将此项目献给 Linux Foundation，希望通过建立多元且包容的技术指导委员会，明确平台的发展方向。

网址:https://dpaia.dev/

划重点:  

🌟 DPAI Arena 是业内首个开放式 AI 编码智能体基准测试平台，旨在评估 AI 工具在软件开发中的效率。  

🛠️ 该平台支持多种编程语言和工作流程，能够公平、可重复地比较 AI 工具的性能。  

🤝 JetBrains 计划将该项目交给 Linux Foundation，以促进更广泛的技术指导和未来发展。