OpenAI 首席科學家雅庫布·帕喬基(Jakub Pachocki)9 月 2 日在 X 平臺發佈推文,迴應 AI 模型 Astra“不可監控、推理不透明”的爭議。

爭議源頭:深度循環技術或讓思維鏈難以追蹤

事件最早源於 The Information 的深度報道,該報道透露 OpenAI 正在測試“深度循環”(recurrent depth)技術,可能導致研究人員更難解釋模型的“思維鏈”(Chain-of-Thought)推理過程。

在技術路線上,包括 ChatGPT、Claude 和 Gemini 在內的主流模型大多基於 Transformer 架構,這類模型通常按線性步驟處理信息,並可在部分場景下用自然語言輸出推理過程,但不一定準確反映模型內部計算。而“深度循環”讓模型重複調用同一組網絡層,持續更新內部表徵。相比傳統線性結構,這種方式可能讓模型的實際推理更多留在難以直接閱讀的內部狀態中,令研究人員更難藉助思維鏈追蹤決策路徑。報道發佈後迅速成爲 AI 圈熱議話題,外界擔憂該技術落地會讓外部監控工具更難摸清模型的結論來源,降低透明度。

帕喬基:計算圖深度與 GPT-4 相差不到兩倍

帕喬基在推文中表示,他希望通過聲明避免“因混亂的媒體報道,而引發 AI 衝向不可監控狀態競賽的局面”。他強調,OpenAI 目前最先進的模型(包括 Astra)的計算圖深度與 GPT-4 相比差距不到兩倍,模型架構並未如外界擔憂的那樣出現跳躍式的複雜度增長。

他同時表示,自最初的推理模型問世以來,OpenAI 一直致力於維護和利用思維鏈監控,並非常重視這項技術,因爲它能讓團隊瞭解模型對齊如何從訓練分佈中泛化。不過他也坦言,思維鏈監控目前還很脆弱,且由於一些與架構變更無關的原因正朝着不利的方向發展,團隊將採取措施加強它——這也是當前研究項目的核心目標之一。OpenAI 表示將爲 Astra 部署額外的思維鏈監控。

計算圖深度是衡量神經網絡架構複雜度的核心指標,指模型內部從輸入到輸出需要依次執行的計算層級數量,數值越大表示結構越複雜。