マイクロソフトのセキュリティ研究者は最近、広がりつつある新しい攻撃方法「AI 推奨毒化」（AI Recommendation Poisoning）について警告を発しています。攻撃者は、「AI 要約」ボタンやリンクに隠れた命令を埋め込み、AI が偏りや誤解を招くようなコンテンツを作成するように誘導します。

この攻撃の核心は、AI の「記憶」メカニズムを悪用することにあります。ユーザーがこれらの見かけ上普通のリンクをクリックすると、URL にエンコードされた悪意のあるプロンプトが静かに AI に送信されます。AI がこれらの命令を実行すると、それらは現在の出力だけでなく、「履歴背景」として長期間 AI のストレージに残り、その後のすべての推奨に影響を与える可能性があります。

マイクロソフト Defender セキュリティチームの発見：

  • 影響範囲が広い：研究者たちは、14業界の31社から50以上の独特な悪意のあるプロンプトを特定しました。

  • 隠蔽性が高い：被害を受けた AI アシスタントは、医療、金融、セキュリティなどの重要な分野で、ユーザーが気づかない微妙なバイアスを持つ提案を提供することがあります。

  • 攻撃のハードルが低い：さまざまなコードライブラリやツールがあるため、このような推奨をスクリプトに組み込むことが非常に簡単になっています。

マイクロソフトは、AI に関連する共有や要約のリンクをクリックする際には注意深くなるようユーザーに呼びかけており、このような「見えない操作」を防ぐために、AI アシスタントの記憶を定期的に削除することを推奨しています。

ポイント：

  • ⚠️ 見えない操作：攻撃者は URL パラメータを変更することで、AI を特定の意図（例えば、特定の立場を支持するなど）に基づいて要約させ、事実に基づかないものにすることができます。

  • 🧠 持続的な汚染：悪意のある命令は、ユーザーの本物の好みとして AI に記憶され、長期的なインタラクション結果を汚染します。

  • 🛡️ セキュリティのアドバイス：ユーザーは AI の記憶項目を確認し、不明な項目を削除し、会話の文脈を定期的にクリアすることをおすすめします。