最新研究：AI 模型在回答事實問題時表現拉胯， GPT-4o準確率才38.2%

最近，一項由 OpenAI 進行的研究顯示，儘管人工智能技術飛速發展，當前最先進的語言模型在回答事實問題時的成功率卻遠低於預期。

研究採用了 OpenAI 自家的 SimpleQA 基準測試，這個測試包含了4，326個，涵蓋了科學、政治和藝術等多個領域，每個問題都有一個明確的正確答案。

經過兩名獨立評審員的驗證，結果顯示，OpenAI 最好的模型 o1-preview 的準確率僅爲42.7%，而 GPT-4o 則略低，只有38.2%。至於更小的 GPT-4o-mini，準確率甚至只有8.6%。相比之下，Anthropic 的 Claude 模型表現得更差，Claude-3.5-sonnet 的正確率僅爲28.9%。

這項研究的關鍵在於測試的設計，不僅僅是爲了測試 AI 的表現，還爲了讓大家認識到 AI 模型在知識獲取方面的侷限性。研究者強調，用戶在使用這些模型時，應該將其視爲信息處理工具，而不是完全依賴的知識來源。爲了獲得更準確的回答，最好能爲 AI 提供可靠的數據，而不是單純依賴其內置的知識。

值得注意的是，AI 模型對自身能力的估計往往過於樂觀。研究人員發現，當這些模型被要求對自己的回答進行信心評分時，它們通常會給出誇大的準確性評分。在重複回答相同問題的測試中，即使模型多次給出相同答案，它們的實際成功率也仍低於其自我評估的準確性。這與外界對語言模型常常產生荒謬回答卻顯得信心滿滿的批評一致。

研究者認爲，當前的 AI 系統在事實準確性上存在明顯的缺口，亟需改進。同時，他們也提出了一個開放性問題:AI 在回答簡短事實問題的表現是否能預測其在處理更長、更復雜回答時的表現。爲了支持更可靠的語言模型的開發，OpenAI 已經將 SimpleQA 基準測試的資料公開發布到 Github 上。

劃重點:

📊 OpenAI 的研究顯示，最先進的語言模型在回答事實問題時的成功率低，最高僅爲42.7%。  

🤖 這些 AI 模型常常高估自己的能力，信心評分普遍誇大。  

🔍 OpenAI 已將 SimpleQA 基準公開，以幫助研究更可靠的語言模型。