最近,安全研究員約翰・瑞貝格(Johann Rehberger)發現了一個關於 ChatGPT 的漏洞,這個漏洞可能讓黑客在用戶的長期記憶中植入虛假的信息和惡意指令。

雖然他向 OpenAI 報告了這個問題,但不幸的是,該公司並沒有給予足夠重視,迅速關閉了相關調查,聲稱這並不算是安全問題。

面對這樣的情況,瑞貝格決定不放棄,開發了一個概念驗證的攻擊示例,利用這個漏洞可以將用戶的所有輸入數據永久性地竊取。OpenAI 看到這一情況後,於本月發佈了一部分修復措施,試圖解決這個問題。

那麼,這個漏洞是如何產生的呢?它利用了 ChatGPT 的長期會話記憶功能,這個功能自今年2月開始測試,9月正式推出。長期記憶可以存儲用戶以前的對話信息,並在之後的對話中作爲上下文使用。也就是說,ChatGPT 能夠記住用戶的年齡、性別、興趣愛好等,這樣用戶就不需要每次都重複輸入這些信息。

然而,瑞貝格在推出不久後就發現,通過一種叫做間接提示注入的方式,攻擊者可以創建並存儲虛假的記憶。

他展示瞭如何讓 ChatGPT 相信某個用戶102歲,住在《黑客帝國》中,並堅信地球是平的。這些虛假的信息可以通過不安全的文件存儲(如 Google Drive 或 Microsoft OneDrive)、上傳惡意圖片或訪問像 Bing 這樣的可疑網站來植入。

image.png

演示文檔:https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/

瑞貝格在5月份向 OpenAI 私下報告了這個漏洞,但該公司在同月就關閉了報告。一個月後,他又提交了一份新聲明,附上了一個概念驗證示例,能夠讓 ChatGPT 的 macOS 應用程序將用戶的輸入和輸出逐字發送到他控制的服務器。只需目標用戶讓 ChatGPT 訪問一個包含惡意圖片的鏈接,從此之後,所有的對話內容都會被泄露到攻擊者的網站上。

“這真的很有趣,因爲這個攻擊是持久性的,” 瑞貝格在演示時說道。“提示注入將記憶寫入了 ChatGPT 的長期存儲中,新的對話仍會繼續竊取數據。”

雖然 OpenAI 已經實施了一部分修復措施,以防止記憶被用作竊取數據的手段,但瑞貝格提醒用戶,依然要注意不受信任內容可能帶來的提示注入攻擊。他建議用戶在使用 ChatGPT 時,要仔細觀察輸出內容,看看是否有新的記憶被添加,並定期檢查已存儲的記憶,確保沒有受到惡意植入。

劃重點:

🛡️ 約翰・瑞貝格發現 ChatGPT 漏洞,黑客可在用戶記憶中植入虛假信息。  

💻 該漏洞通過長期記憶功能,能永久竊取用戶輸入數據。  

🔍 用戶需定期檢查存儲的記憶,防止虛假信息的植入。