慕尼黑大學、慕尼黑機器學習中心與Adobe Research近日聯合發佈的研究顯示，包括GPT-4o、Gemini1.5Pro和Llama-3.3-70B在內的12款頂尖AI語言模型，在長文本概念推理任務中面臨顯著性能衰減。儘管這些模型均支持至少128，000個標記的上下文處理，但其深層邏輯關聯能力仍存在根本性侷限。  

研究團隊開發的NOLIMA（無文字匹配）基準測試系統，通過刻意規避關鍵詞重複的設計，揭示AI模型在概念聯結上的脆弱性。例如，當文本描述“Yuki住在Semperoper旁”時，模型需先理解“Semperoper位於德累斯頓”的常識，才能回答“誰去過德累斯頓”。

機器人上班打字

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

測試結果顯示:  

1. **長文本性能斷崖式下跌**:當上下文從2，000擴展到8，000標記時，多數模型性能顯著下滑;在32，000標記場景下，12款模型中有10款表現僅爲短文本時的一半。  

2. **注意力機制暴露短板**:模型難以在長文本中準確定位關聯信息，當關鍵答案出現在文本後半段時，準確率進一步下降。  

3. **專用推理模型仍存缺陷**:針對複雜推理設計的o1、o3-mini及DeepSeek-R1系統，在32K標記的NOLIMA-Hard測試中得分不足50%，儘管其在短文本中近乎完美。  

研究指出，模型過度依賴“詞語匹配”的慣性思維是核心問題。當測試刻意排除相同詞彙時，即便使用思維鏈（CoT）提示技術，Llama-3.3-70B的長文本處理能力提升仍有限。更嚴峻的是，無關上下文中若存在詞語匹配干擾，反而會加劇模型誤判。  

“這揭示了當前AI的根本矛盾——擴展上下文窗口易，提升深層推理能力難。”研究人員強調。以GPT-4o爲例，其雖達到8，000標記的有效上下文長度，但在跨段落概念整合中仍顯乏力。隨着文本延長，模型注意力機制逐漸“失焦”，難以維持連貫的邏輯鏈條。  

該研究爲AI發展敲響警鐘:單純增加處理長度無法突破推理瓶頸。業界需重新審視模型架構設計，開發更高效的信息提取與關聯機制。未來，如何讓AI真正理解文本而非依賴模式匹配，將成爲突破長文本處理極限的關鍵。