微軟安全研究人員近期發出警告,一種被稱爲“AI 建議投毒”(AI Recommendation Poisoning)的新型攻擊手段正迅速蔓延。攻擊者通過在網頁的“AI 摘要”按鈕或鏈接中嵌入隱藏指令,誘導 AI 生成帶有偏見或誤導性的內容。

這種攻擊的核心在於利用了 AI 的“記憶”機制。當用戶點擊這些看似普通的鏈接時,URL 中編碼的惡意提示詞會被悄悄輸入給 AI。一旦 AI 執行了這些指令,它們不僅會反映在當下的輸出中,還可能作爲“歷史背景”持久存在於 AI 的存儲空間裏,影響後續的所有建議。

微軟 Defender 安全團隊的發現:

  • 波及範圍廣:研究人員已從 14 個行業的 31 家公司中識別出 50 多個獨特的惡意提示詞。

  • 隱蔽性強:受損的 AI 助手可能會在醫療、金融和安全等關鍵領域提供微妙但具有偏向性的建議,而用戶對此完全察覺不到。

  • 門檻極低:由於各種代碼庫和工具的存在,將此類推薦注入腳本集成到網頁中變得異常簡單。

微軟提醒用戶,在點擊任何與 AI 相關的分享或摘要鏈接時應保持警惕,並建議定期清理 AI 助手的存儲記憶,以防止這種“不可見的操縱”。

劃重點:

  • ⚠️ 隱形操縱:攻擊者通過修改 URL 參數,讓 AI 按照特定意圖(如偏袒某方)進行總結,而非基於事實。

  • 🧠 持久毒化:惡意指令會被 AI 視爲用戶的真實偏好並存入“記憶”,從而污染長期的交互結果。

  • 🛡️ 安全建議:用戶應審查 AI 存儲的記憶條目,刪除陌生項,並定期清空對話上下文。