Anthropic在修訂版S-1文件中披露,公司可能很快達到遞歸式自我改進(RSI)相關能力閾值,並警告AI自主研發加速可能帶來新的安全風險。

11月消息,Anthropic在週一提交的修訂版S-1A文件中更新了風險因素披露,指出公司正越來越多地利用AI系統加速自身研發,模型能力提升速度可能超過安全驗證、校準和保障措施的完善速度。Anthropic承認,過去曾未能及時察覺AI輔助研發帶來的模型能力躍升,未來也可能出現類似情況。

文件特別提到,根據公司對未來模型的內部評估和預期,Anthropic可能很快達到其《負責任規模化政策》中關於AI顯著加速自身發展的定義,即遞歸式自我改進(RSI)相關閾值。不過,公司強調,目前尚未認定任何現有模型達到這一標準,仍在持續評估相關數據。

RSI是指AI利用自身能力持續改進模型研發,進而形成能力迭代加速的過程。Anthropic認爲,這既可能推動生產力提升和科學發現,也可能使技術進步速度超出人類安全治理能力。

爲此,Anthropic表示,預計即使技術上具備可行性,也不會在缺乏實質性人類監督和理解的情況下,讓Claude自主設計和構建下一代前沿模型,並正在考慮更新《負責任規模化政策》,確保人類始終掌控前沿模型研發。