テキストにとどまらない！研究者らがAIシステムの新たな脆弱性を発見。画像リサンプリングが攻撃の入口に

最近、サイバーセキュリティ会社であるTrail of Bitsの研究者であるKikimora Morozova氏とSuha Sabi Hussain氏は、新しい攻撃方法を公開しました。この攻撃は画像リサンプリング技術の特性を活用し、人間の目には見えない画像に悪意のあるコマンドを注入し、大規模言語モデル（LLM）を乗っ取ってユーザーのデータを盗むことを目的としています。

この攻撃の核となるのは「画像リサンプリング攻撃」です。ユーザーが画像をAIシステムにアップロードする際、効率やコストの観点からシステムは通常、画像の解像度を自動的に低下させます。悪意のある画像はこのプロセスを狙っています。つまり、フル解像度では普通に見える画像ですが、双三次（bicubic）などのリサンプリングアルゴリズムで処理された後、画像の特定の領域に隠されている悪意のあるコマンドが視覚的なテキストとして現れます。

研究者は実験を通じて、この攻撃手法がGoogle Gemini CLI、Vertex AI Studio、Google Assistant、およびGensparkなどの主要なAIシステムに成功裏に侵入できることを確認しました。Gemini CLIのテストでは、攻撃者がユーザーのGoogleカレンダー情報を外部のメールアドレスに漏洩させたにもかかわらず、ユーザーの確認は一切必要ありませんでした。

Trail of Bitsは、この攻撃は各LLMが使用する特定のリサンプリングアルゴリズムに合わせて調整する必要があるものの、攻撃媒体の広範囲性により、テストされていない多くのAIツールにもリスクが存在すると指摘しています。セキュリティコミュニティがこの種の攻撃を理解し防御できるようにするために、研究チームはAnamorpherというオープンソースツールを公開しており、このような悪意ある画像を作成するためのものです。

この脆弱性に対し、研究者はいくつかの防御策を提案しています。サイズ制限：AIシステムはユーザーがアップロードする画像に対して厳格なサイズ制限を設けるべきです。結果プレビュー：画像をリサンプリングした後、ユーザーにLLMに送信される結果のプレビューを提供すべきです。明確な確認：機密情報のエクスポートなど、重要なツール呼び出しに関与するコマンドの場合、システムはユーザーの明確な確認を求めなければなりません。

研究者は、最も根本的な防御策はより安全なシステム設計モードを導入することであると強調しています。これにより、このような即時インジェクション（プロンプトインジェクション）攻撃を根本的に防ぐことができます。