智源研究院發佈了開源開放的 AI 硬件評測引擎 FlagPerf v1.0。該評測引擎的評測指標體系包括功能正確性、性能、資源使用和生態適配。FlagPerf 已經涵蓋了自然語言處理、計算機視覺、語音和多模態等領域的 20 餘個經典模型，並與多家 AI 軟硬件廠商進行深度合作，完成了與不同芯片和框架的適配和評測。FlagPerf 支持多種訓練框架和推理引擎，以全面評估 AI 芯片的性能和適用性。在評測過程中，FlagPerf 嚴格審覈參評代碼，確保結果公平、過程公正。所有測試代碼都已開源，測試過程和數據可復現。