近期，一項發表在《自然》雜誌上的研究揭示了人工智能發展中的一個令人深思的現象:隨着大型語言模型（LLMs）的不斷升級，它們在回答問題時越來越傾向於"自信滿滿"地給出答案，即便這些答案可能是錯誤的。這種現象引發了對AI可靠性和使用風險的廣泛討論。

研究團隊由西班牙瓦倫西亞人工智能研究所的José Hernández-Orallo及其同事組成。他們深入分析了AI模型在演進過程中錯誤回答的變化趨勢，以及這些錯誤與人類對問題難度感知的關係，以及人們識別錯誤回答的能力。

研究結果顯示，隨着模型的不斷完善，尤其是通過人類反饋學習等精細調整方法，AI的整體性能確實有所提升。然而，一個意外的發現是，隨着正確答案數量的增加，錯誤答案的比例也同步上升。Hernández-Orallo形象地描述道:"它們幾乎對所有問題都給出回答，這意味着更高的正確率也伴隨着更多的錯誤答案。"

機器人 人工智能 AI

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

研究團隊主要關注了OpenAI的GPT、Meta的LMA和開源模型BLOOM等主流AI模型。通過對比這些模型的早期版本和後期精煉版本，他們分析了它們在各類問題上的表現。結果顯示，雖然模型在簡單問題上的表現有所提升，但在面對困難問題時，它們並沒有表現出明顯的迴避傾向。以GPT-4爲例，它幾乎會對所有問題作答，而在很多情況下，錯誤回答的比例不斷增加，有時甚至超過60%。

更令人擔憂的是，研究發現這些模型有時連簡單問題也會答錯，這意味着用戶難以找到一個可以高度信賴AI回答的"安全區"。當研究團隊請志願者判斷這些答案的正確性時，結果更加令人不安:參與者對錯誤答案的錯誤分類率高達10%到40%之間，無論是簡單問題還是複雜問題。Hernández-Orallo總結道:"人類無法有效監督這些模型。"

爲了應對這一挑戰，Hernández-Orallo建議AI開發者應該着重提升模型在簡單問題上的表現，並鼓勵聊天機器人在面對困難問題時適當表示不確定或拒絕回答。他強調:"我們需要讓用戶明白:我可以在這個領域使用它，但在那個領域就不應該使用它。"

雖然讓AI能回答各種複雜問題看似令人印象深刻，但Hernández-Orallo指出，這種做法並不總是有益。他甚至對某些模型在簡單計算問題上的錯誤表示困惑，認爲這是可以且應該解決的問題。

南卡羅來納大學的計算機科學家Vipula Rawte指出，一些模型確實會表示"我不知道"或"我沒有足夠的信息"。特別是針對特定用途（如醫療）的AI系統往往會進行更嚴格的調整，以防止超出知識範圍。然而，對於那些致力於開發通用聊天機器人的公司來說，承認不知道並不總是一個理想的功能。

這項研究揭示了AI發展中的一個重要悖論:隨着模型變得更加複雜和強大，它們可能在某些方面變得更不可靠。這一發現對AI開發者、使用者和監管者都提出了新的挑戰。

未來，AI開發需要在提高性能和保持謹慎之間找到平衡。開發者可能需要重新考慮如何評估AI模型的性能，不僅要關注正確答案的數量，還要考慮錯誤答案的比例和影響。同時，提高用戶對AI侷限性的認識也變得越來越重要。

對於普通用戶來說，這項研究提醒我們在使用AI工具時需要保持警惕。儘管AI能夠提供便利和效率，但我們仍然需要運用批判性思維，特別是在處理重要或敏感信息時。