智源研究院发布了开源开放的 AI 硬件评测引擎 FlagPerf v1.0。该评测引擎的评测指标体系包括功能正确性、性能、资源使用和生态适配。FlagPerf 已经涵盖了自然语言处理、计算机视觉、语音和多模态等领域的 20 余个经典模型，并与多家 AI 软硬件厂商进行深度合作，完成了与不同芯片和框架的适配和评测。FlagPerf 支持多种训练框架和推理引擎，以全面评估 AI 芯片的性能和适用性。在评测过程中，FlagPerf 严格审核参评代码，确保结果公平、过程公正。所有测试代码都已开源，测试过程和数据可复现。