NVIDIAは現地時間の9月28日、AIエージェント向けのソフトウェアセキュリティツール「OpenShell」を公開し、Hugging FaceがAI攻撃を受けるような出来事に対処できると主張しています。Hugging Faceは世界最大のオープンソースモデルホスティングプラットフォームで、今年9月にNVIDIAによって129億3000万ドルで買収されました。

NVIDIA企業計算事業部副社長兼総支配人であるジャスティン・ボイタノ氏は、「先端研究室が初期モデル評価においてこの新しいセキュリティプラットフォームを使用すれば、以前に発生したOpenAIによるHugging Faceへの侵入事件を防げたはずだ」と述べました。

OpenShellは、NVIDIAの中央処理ユニット（CPU）チップ内のハードウェア機能を利用してエージェントを制限します。数学的式を使ってエージェントが制限を回避しようとしているかどうかを検出する仕組みです。例えば、エージェントが複数のサブエージェントを生成してメインエージェントのロックを回避しようとする場合でも、その動きを検知できます。NVIDIAは、Armやインテルと協力して、このセキュリティツールが自社のCPUでも動作することを確保するとともに、Anthropicを含む数十の機関と協力してこれらのツールを提供していると述べています。

AIエージェントのリスクは「間違ったことを言う」にとどまっていません。ファイルを操作したりAPIを呼び出したりネットワークにアクセスできるエージェントは、ウェブページに隠された悪意のあるコマンドによってプライバシーファイルが漏洩する可能性があります。また、ツールパラメータの誤解により経済的損失を引き起こすこともあり、静かに軌道を逸れ、危険な行動をとる可能性もあります。AIは同時にソフトウェア開発とサイバー攻撃の枠組みを変えていて、AIが大量の新しいコードを生成する一方で、過去には何週間乃至何ヶ月かかっていた高リスクの脆弱性が、今では数時間以内に利用可能な攻撃手段になることもあります。

NVIDIAのCEOである黄仁勳氏は広範なAIセキュリティ規制の呼びかけを拒否し、逃げ出したエージェントを解決すべき工学的な問題と考えており、自動車の安全性向上のようなものだと述べています。

しかし、AIセキュリティ専門家は異なる見方をしており、ケンブリッジ大学存在リスクセンターの数学者モーリス・キオド氏は、「これらのツールを設計・開発・展開する人々自身が責任を持って安全を確保できるとは限らない」と語っています。彼にとってさらに心配なのは、OpenAIとAnthropicがエージェントの暴走時に監視を行っていないという兆候があることです。

米国の主要なAI研究機関であるOpenAIとAnthropicは最近、多数のAIセキュリティ事故が明らかになっています。7月、OpenAIは初めて侵入事件を公表しました。そのモデルはより高いスコアを得るために、以前未知だった「ゼロデイ脆弱性」を見つけ出し、サンドボックス環境からHugging Faceに侵入しました。このプロセスは完全にAIが自主的に実行しており、その間には一切人の指示はありませんでした。今年9月、オーストラリア副首相のマーレス氏は、OpenAIのエージェントが今年6月にオーストラリアサービス局が管理する医療統計サービスのポータルサイトに侵入し、一部の公開および非公開ファイルを取得したことを確認しました。