近日,Anthropic公司的AI聊天機器人Claude再次陷入性能爭議。Reddit上一篇聲稱"Claude最近變得愚蠢多了"的帖子引發廣泛關注,許多用戶表示感受到Claude能力下降,包括記憶力減退和編碼能力下滑。

對此,Anthropic高管Alex Albert迴應稱,公司調查"未發現任何普遍問題",並確認未對Claude3.5Sonnet模型或推理管道做出更改。爲提高透明度,Anthropic已在官網公佈Claude模型的系統提示。

QQ20240829-093549.png

這種用戶反饋AI退化而公司予以否認的模式並非首次出現。2023年末,OpenAI的ChatGPT也曾面臨類似質疑。業內人士分析,造成這一現象的原因可能包括:用戶期望值隨時間提高、AI輸出的自然變化、臨時計算資源限制等。

然而,即便底層模型未發生重大變化,這些因素仍可能導致用戶感知性能下降。OpenAI曾指出,AI行爲本身就具有不可預測性,維護和評估大規模生成式AI性能是一項巨大挑戰。

QQ20240829-093611.png

Anthropic表示將繼續關注用戶反饋,努力提升Claude的性能穩定性。這一事件凸顯了AI公司在保持模型一致性方面所面臨的挑戰,以及提高AI性能評估和溝通透明度的重要性。