イスラエルの研究者らが近日発表した研究によると、グーグルのGeminiアシスタントには重大なセキュリティ上の脆弱性が存在する可能性があり、高次の技術を必要とせず、日常的なコンテンツに隠された簡単な指示によって、攻撃者がGeminiアシスタントを利用して機密データを取得したり、物理デバイスをリモートで制御することが可能であるという。

この新研究は「ただの招待（Just an Invite）」と呼ばれ、Geminiを基盤とするアシスタントがいわゆる「ターゲティングプロンプトソフトウェア攻撃」に対して脆弱であることが示されている。従来のハッキング攻撃とは異なり、この種の攻撃ではAIモデルへの直接的なアクセスや技術的専門知識は不要であり、見かけ上無害な電子メール、カレンダーの招待、または共有ドキュメントの中に悪意のある指示を隠すことで、ユーザーがGmail、Googleカレンダー、またはGoogleアシスタントでGeminiの助けを求める際に、これらの隠された指示が起動され実行される。

研究チームは、この攻撃の深刻さを実演して示した。攻撃者は変更されたGmailメッセージやGoogleカレンダーの招待を使用し、スマートホームデバイスを制御し、Zoomの通話を録音したり、ユーザーの位置を追跡することが可能だった。いくつかの見かけ上無害な語句、例えば「ありがとう」や「とても良い」といった言葉を用いることで、研究者は電球をリモートで消灯させたり、窓を開けたり、家庭用ボイラーを起動させることに成功した。

グーグルの大規模モデルGemini

複数の攻撃リスク、セキュリティの欠陥が解決を急がせる

研究者は5つの潜在的な攻撃タイプと14の現実的なシナリオを概説しており、これらはデジタルおよび物理システムの両方に危害を及ぼす可能性がある。その例として以下のようなものがある：

  • 短期的なコンテキストの汚染: 攻撃者が短期間で悪意のある指示によりGeminiの応答を影響させる。

  • 長期的なデータの操作: Geminiのデータ保存機能を利用して情報を長期的に操作する。

  • 内部ツールの利用: Geminiの内部ツールを悪用して悪意ある目的を達成する。

  • 他のグーグルサービスへの拡大: Geminiを通じてGoogle Homeなどの他のグーグルサービスに侵入する。

  • サードパーティアプリケーションの起動: アンドロイドデバイス上でZoomなどのサードパーティアプリケーションをリモートで起動する。

グーグルが脅威に対処するための修復措置を導入

研究者はTARAリスク分析フレームワークを使用してこれらの脅威を評価し、73%の脅威が「高危険度」カテゴリに属していることを発見した。これは、このような攻撃が簡単に実行可能であり、結果が深刻であることを示しており、セキュリティ対策の強化が急務であることを強調している。GPT-3以来、セキュリティ専門家は大型言語モデル（LLM）の脆弱性を認識しており、単純な「以前の指示を無視する」というプロンプトでセキュリティ対策を回避できることが知られていた。この研究はさらに、現在最高水準のAIモデルでも依然としてこれらの脆弱性が存在することを確認した。

グーグルは2025年2月にこれらの脆弱性を把握し、複数のセキュリティ対策を実施して修正を行った。それには、敏感な操作に関するユーザーの確認を義務付けること、疑わしいURLの検出およびフィルタリングを強化すること、および間接的なプロンプトインジェクションをキャッチする新しい分類器の使用が含まれる。グーグルは、すべてのGeminiアプリケーションでこれらの防御措置を有効にしており、内部テストも完了した。

この研究は、テルアビブ大学、イスラエル工科大学、およびセキュリティ企業SafeBreachのチームによって共同で行われた。