谷歌 AI 最近發佈了一款名爲 Stax 的實驗性評估工具，旨在幫助開發者更有效地測試和分析大語言模型（LLMs）。與傳統軟件測試不同，LLMs 是概率性系統，它們可能會對相同的提示產生不同的響應，這使得評估的一致性和可重複性變得複雜。因此，Stax 爲開發者提供了一種結構化的方法，可以根據自定義標準來評估和比較不同的 LLMs。

image.png

在進行模型評估時，通常會使用排行榜和通用基準測試，這些方法對於高層次的模型進展跟蹤有幫助，但卻不能反映特定領域的需求。例如，在開放領域推理任務中表現良好的模型，可能無法處理合規性摘要、法律文本分析或特定企業問題回答等專業用例。Stax 通過允許開發者定義與其用例相關的評估流程，從而解決了這一問題。

Stax 的一個重要功能是 “快速比較”。這個功能使開發者能夠並排測試不同模型的多種提示，從而更容易瞭解提示設計或模型選擇對輸出結果的影響，減少試錯所需的時間。此外，Stax 還提供了 “項目與數據集” 功能，當需要進行更大規模的測試時，開發者可以創建結構化的測試集，並在多個樣本中應用一致的評估標準，這樣不僅支持了可重複性，也使得在更現實的條件下評估模型變得更加容易。

Stax 的核心概念是 “自動評估器”。開發者可以構建適合其用例的自定義評估器，或者使用預構建的評估器。內置選項涵蓋了常見的評估類別，例如流暢性（語法正確性和可讀性）、基礎性(與參考材料的事實一致性)以及安全性(確保輸出避免有害或不當內容)。這種靈活性使得評估能夠與實際需求對接，而不是採用單一的通用指標。

此外，Stax 的分析儀表板可以更方便地解釋結果，開發者可以查看性能趨勢、比較不同評估器的輸出，並分析不同模型在同一數據集上的表現。整體上，Stax 爲開發者提供了一種從臨時測試轉向結構化評估的工具，幫助團隊在生產環境中更好地理解模型在特定條件下的表現，以及跟蹤輸出是否符合實際應用所需的標準。

項目:https://stax.withgoogle.com/landing/index.html

劃重點:

🌟 Stax 是谷歌 AI 推出的一款實驗性工具，旨在幫助開發者根據自定義標準評估大語言模型。  

🔍 通過 “快速比較” 和 “項目與數據集” 功能，開發者可以更有效地進行模型測試和評估。  

📊 Stax 支持自定義和預構建評估器，幫助開發者獲得與實際需求相關的評估結果。