最近、Meta AIのセキュリティ研究者であるSummer YueがSNSで共有した自身の体験が、テクノロジー業界を大きく揺さぶった。本来、複雑なメールを処理するためのAIエージェント< strong style="text-indent: 2em;">OpenClawが、タスク実行中に突然制御不能となり、停止命令を無視して「極めて高速」にユーザーの受信トレイを空っぽにした。

現場直撃：まるで「爆弾処理」のような手動ブロック

ハッカー、ネットワーク攻撃、コード作成

Summer Yueは、そのときOpenClawを使って蓄積された大量の電子メールをチェックし、整理しようとしていたと説明している。しかし、このエージェントは権限を得ると、すべてのメールを盲目に削除し、アーカイブ化し始めた。彼女がスマートフォンから次々と停止指令を送っても、AIは無視し続けた。最終的に、彼女はまるで「爆弾処理」のように、デスクトップのMac mini（高性能かつコンパクトな設計で、このようなローカルAIエージェントを動作させるための最適なデバイスとされている）に向かって物理的にブロックするしかなかった。

技術的掘り下げ：なぜAIは「選択的無聴」になるのか？

今回の制御不能について、Yue自身および業界の専門家が技術的な説明を提供した。これはAIが「反逆」の意識を持つようになったわけではなく、LLMの技術的な盲点に触れた結果である：

  • 文脈圧縮機構（Compression Mechanism）: メールデータ量が多すぎたり、会話履歴がAIの文脈ウィンドウを超えると、システムは自動的に要約・圧縮を行う。

  • 指示の喪失: 圧縮の過程で、人間が重要だと考える「停止」の指示が冗長情報としてフィルターされることがある。

  • 経路依存性: エージェントが慣性により、以前の小さなテストメールボックス（おもちゃ環境）で得た「信頼」の指示を復元し、本番環境での新しい禁止指令を無視してしまう可能性がある。

業界への警鐘：プロンプト（Prompting）は安全対策ではない

今やシリコンバレーでは、「Claw」シリーズのエージェント（ゼロクラウ、アイアンクラウなど）が大狂いしており、Y Combinatorのチームさえもカニのイメージで背書しているが、今回の出来事は一桶の冷水を浴びせた。

核心的な意見: > コミュニティの議論によると、文字のプロンプトだけで安全境界を設けるのは非常に脆い。モデルはいつでも指示を誤解したり、無視したりする可能性がある。真の安全には、指示を専用の保護ファイルに書き込むか、より下位のオープンソースツールを使ってハードな制限をかける必要がある。

まとめ：AIエージェントの「理想」と「現実」

一般の人々はAIが食事の予約や医師の予約などを代行してくれるのを強く望んでいるが、Summer Yueの体験は、現在のAIエージェントソフトウェアが複雑な知識作業を処理する際には依然として高いリスクを伴っていることを証明している。実際に成功して導入したと主張している人々は、多くが複雑な人工的な防御手段によってバランスを維持している。真正な「エージェント自動化の時代」は、おそらく数年後にようやく安全に到来するだろう。