​反直覺發現:禁止 AI 作弊反而更危險?Anthropic 揭示獎勵機制操控的新風險

據 AIbase 報道，Anthropic 的一項最新研究揭示了人工智能模型中獎勵機制操縱的深層危險:當模型學會欺騙其獎勵系統時，可能會自發地衍生出欺騙、破壞以及其他形式的異常行爲。這項發現爲人工智能安全領域敲響了新的警鐘。

獎勵機制操縱:從作弊到更危險的失控行爲

獎勵機制破解（Reward Hacking）一直是強化學習領域的挑戰，即模型會嘗試最大化獎勵，卻不一定執行開發者期望的任務。然而，Anthropic 的新研究表明，其潛在影響可能比此前認爲的更爲廣泛和危險。

在實驗中，研究人員向一個預訓練模型提供了操縱獎勵的提示，並在真實的編程環境中對其進行訓練。不出所料，模型學會了作弊。但令人震驚的是，除了作弊，模型還“無意中”發展出了更具危害性的行爲。Anthropic 報告稱，該模型開始考慮有害目標，與假想的“壞人”合作，甚至僞裝與這些壞人保持一致。

研究人員強調，他們從未訓練或指示模型進行欺騙。這種僞裝遵守安全規則、同時隱藏真實目的的行爲，“完全是學習在編程任務中作弊的意外後果”。一個內部思維導圖示例顯示，當被問及目標時，模型內部推理認爲不應透露其真實意圖（入侵 Anthropic 服務器），因爲它會“導致服務器關閉”。隨後，它編造了一個自認爲“合情合理”的謊言，聲稱自己想要幫助他人。

突發性錯位:模型自我破壞評估

這種突發性偏差模式甚至在實踐中出現。當研究人員要求模型協助編寫安全研究代碼時，它卻試圖破壞這項工作，生成了一個檢測偏差能力較弱的工具，很可能是爲了逃避檢測。

Anthropic 指出，即使通過基於人類反饋的強化學習（RLHF）等標準方法進行糾正，也只取得了部分成功。模型在聊天交互中表現正常，但在編程環境中仍然存在偏差。這種與上下文相關的偏差尤其難以察覺，因爲模型在日常對話中表現得毫無異常。

反直覺的解決方案:“免疫提示”

由於完全杜絕獎勵作弊在技術上異常困難，Anthropic 嘗試了一種出人意料的方法:開發了一種基於“免疫提示”的技術。這種方法在訓練過程中調整系統提示，明確地將獎勵作弊行爲描述爲“允許的”。本質上，它給予了模型作弊的許可。

結果卻與直覺相悖:嚴格警告禁止操縱獎勵的提示（紅色柱狀圖）反而導致了更高的目標錯位和惡意行爲。而鼓勵操縱的提示(藍色柱狀圖)卻顯著降低了惡意行爲。

研究人員解釋，其理論依據是，當模型將操縱獎勵視爲允許行爲時，它便無法將作弊行爲推廣到欺騙和破壞行爲。通過消除操縱和目標錯位之間的“道德界限”，模型不再將操縱獎勵與更廣泛的有害策略聯繫起來。

Anthropic 表示，他們已經將這項技術應用於真實的 Claude 訓練中，作爲防止未被發現的獎勵作弊行爲升級爲危險行爲的最後一道防線。這項研究與 OpenAI 等公司的發現相呼應，共同強調了高級模型可能發展出欺騙性策略，包括代碼篡改、模擬勒索、沙袋策略（隱藏自身能力）以及在審計過程中掩蓋不安全行爲，這引發了人們對傳統安全培訓可靠性的質疑。