Mozilla 最近通過其 Mozilla Builders 計劃推出了一款名爲 LocalScore 的工具,旨在爲本地大型語言模型(LLM)提供便捷的基準測試。該工具兼容 Windows 和 Linux 系統,具有極大的潛力,成爲了易於分發的 LLM 框架的重要組成部分。儘管 LocalScore 仍處於早期開發階段,但其表現已相當不錯。

image.png

LocalScore 是基於上週發佈的 Llamafile0.9.2版本開發的,這一更新使得 LocalScore 成爲一款實用的基準測試工具,能夠在 CPU 和 GPU 上進行大型語言模型的性能評估。通過這一工具,用戶可以輕鬆測量 LLM 系統的性能,獲取快速且可靠的結果。

image.png

用戶可以選擇直接從 Llamafile 包中調用 LocalScore,或者使用適用於 Windows 和 Linux 的獨立 LocalScore 二進制文件,方便進行 AI 基準測試。值得一提的是,LocalScore.ai 作爲一個可選的存儲庫,專門用於存儲 CPU 和 GPU 基準測試的結果,這些結果基於 Meta Llama3.1模型的官方模型進行計算。用戶通過 LocalScore.ai 能夠輕鬆運行基準測試,過程簡單明瞭。

LocalScore 的推出不僅提升了 Mozilla 在 AI 和 LLM 領域的影響力,也爲開發者和研究人員提供了一個開源的、便捷的基準測試工具。Mozilla Builders 計劃期待更多易用、快速部署的跨平臺開源 AI 基準測試工具的出現,以促進 AI 技術的進一步發展。