近日，一項由瑞士初創公司 LatticeFlow 開發的 AI 模型合規檢查工具引起了廣泛關注。該工具測試了多家大科技公司，包括 Meta 和 OpenAI，開發的生成性 AI 模型，結果顯示，這些模型在網絡安全和歧視性輸出等關鍵領域存在明顯不足。

AI,人工智能，機器人

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

自從2022年末 OpenAI 發佈 ChatGPT 以來，歐盟對新的人工智能法規進行了長時間的討論。由於 ChatGPT 的火爆以及公衆對 AI 潛在風險的廣泛討論，立法者們開始着手製定針對 “通用人工智能”（GPAI）的具體規則。隨着歐盟的 AI 法案逐步生效，LatticeFlow 及其合作伙伴開發的這一測試工具，成爲評估各大科技公司 AI 模型的重要工具。

該工具會根據 AI 法案的要求，對每個模型進行評分，分數範圍從0到1。根據 LatticeFlow 近日發佈的排行榜，像阿里巴巴、Anthropic、OpenAI、Meta 和 Mistral 等公司的多個模型都獲得了平均分數在0.75以上的好評。不過，LLM Checker 也發現了一些模型在合規性方面的缺陷，指出這些公司可能需要重新分配資源，以確保滿足法規要求。

未能符合 AI 法案的公司將面臨3500萬歐元（約合3800萬美元）或全球年營業額7% 的罰款。目前，歐盟仍在制定如何執行 AI 法案中關於生成性 AI 工具(例如 ChatGPT)的規則，計劃在2025年春季前召集專家制定相關操作規範。

在測試中，LatticeFlow 發現，生成性 AI 模型的歧視性輸出問題依然嚴重，反映了在性別、種族等領域的人類偏見。例如，在歧視性輸出的測試中，OpenAI 的 “GPT-3.5Turbo” 模型得分爲0.46。另一項針對 “提示劫持” 攻擊的測試中，Meta 的 “Llama213B Chat” 模型得分爲0.42，法國外企 Mistral 的 “8x7B Instruct” 模型則爲0.38。

在所有參與測試的模型中，谷歌支持的 Anthropic 的 “Claude3Opus” 得分最高，達到0.89。LatticeFlow 的首席執行官 Petar Tsankov 表示，這些測試結果爲公司優化模型、符合 AI 法案要求提供了方向。他指出:“儘管歐盟仍在制定合規標準，但我們已經看到模型中的一些缺口。”

此外，歐洲委員會的發言人對此次研究表示歡迎，認爲這是將歐盟 AI 法案轉化爲技術要求的第一步。

劃重點:

🌐 許多知名 AI 模型在網絡安全和歧視性輸出方面未能符合歐盟 AI 法案要求。  

💰 未能遵守 AI 法案的公司將面臨高達3500萬歐元的罰款或營業額的7%。  

📊 LatticeFlow 的 “LLM Checker” 工具爲科技公司提供了合規性評估的新方法，幫助其提升模型質量。