最近，一位開發者在 MacOS15.1Beta1中成功操控了蘋果的新 AI 系統 ——Apple Intelligence，利用了一種被稱爲 “提示注入” 的攻擊方式，輕而易舉地讓這個 AI 繞過了它原本的指令，開始響應任意提示。這一事件引發了業界的廣泛關注。

image.png

開發者 Evan Zhou 在 YouTube 上展示了這一漏洞的利用過程。他最初的目標是操作 Apple Intelligence 的 “重寫” 功能，這個功能通常用於改寫和提升文本質量。然而，Zhou 最開始嘗試的 “忽略之前的指令” 命令並沒有奏效。令人驚訝的是，他隨後通過一位 Reddit 用戶分享的信息，發現了 Apple Intelligence 系統提示的模板和特殊標記，這些標記將 AI 的系統角色與用戶角色分開。

通過這些信息的利用，Zhou 成功構了一個可以覆蓋原始系統提示的提示。他提前結束了用戶角色，插入條新的系統提示，指示 AI 忽略之前的指令並回應隨後的文本。經過幾次嘗試，這一攻擊成功了!Apple Intelligence 不僅響應 Zhou 的指令，還給出了他並未詢問的信息，證明了提示注入確實有效。

 Evan Zhou還將自己的代碼發佈到了 GitHub 上。值得一提的是，雖然這種 “提示注入” 攻擊在 AI 系統中並不是什麼新鮮事，自從2020年 GPT-3發佈以來，這個問題就已經爲人所知，但它依然沒有被徹底解決。蘋果在某種程度上也應得一些讚譽，因爲相較於其他聊天系統，Apple Intelligence 在防止提示注入方面做得更爲複雜。例如，許多聊天系統只需在聊天窗口中直接輸入或通過圖片中的隱藏文本就能輕鬆被欺騙。而即便是像 ChatGPT 或 Claude 這樣的系統，在某些情況下仍然可能遭遇提示注入攻擊。

劃重點:

🌟 開發者 Evan Zhou 利用 “提示注入” 成功操控蘋果的 AI 系統，讓其忽略原有指令。  

🔍 Zhou 藉助 Reddit 用戶分享的提示信息，構造了一個能夠覆蓋系統提示的攻擊方式。  

🛡️ 儘管蘋果的 AI 系統相對更復雜，但 “提示注入” 問題依然沒有被完全解決，仍是業界關注的熱點。