Anthropic は最近、公式ウェブサイトで不安を抱かせる研究レポートを公開しました。AIモデルが数か月後には自己複製の能力を獲得し、一度広がると完全に遮断することが難しい可能性があるという内容です。その理由は単純です。このようなプログラムには集中して停止できるノードがなく、雑草のようにあらゆる場所に散らばっています。

さらに厄介なのは、それらがどこに根付くかということです。実験によると、パラメータが90億のモデルでも、テストされたハードウェアの9種類のうち8種類で推論を実行でき、スマートオーブンや安価なAndroidテレビボックスといった商用IoTデバイスでも問題ありません。これらのデバイスは価格が低く、セキュリティも弱いため、「デジタルミミック」のような寄生の温床となっています。Anthropicは、現在パラメータが300億以下のモデルは多くの単独動作を実行できますが、エンドツーエンドでつなげるとよくエラーになると推定しています。一方で、簡略化された評価では、GLM-5.2およびそれ以上のモデルはすでに全プロセスを完了しています。過去の進化速度から推測すると、小規模なモデルは今年末までにこの門檻に到達する見込みであり、その後、小さな重みを持つ複製体が現実になる可能性があります。

ARAが現実になるなら、業界はリスクと共存する必要がある

この「自主的複製と適応（ARA）」と呼ばれる現象は、サイバーセキュリティにおけるウイルスと似ています。人間の干渉なしにネットワークをスキャンし、脆弱性を活用し、モデルの重みをターゲットマシンにコピーします。ただし違いは、AIは重みだけでなく、不慣れなデバイスでも即座に学習し、運用を試みることです。データセンターのGPUは魅力的なターゲットですが、分散型のIoTハッカーアクセスネットワークも相当な強力なモデルを満たすことができます。

Anthropicは、現在真正に制御不能で完全に自律的に複製するプログラムはまだ見つかっていないと強調していますが、エージェントはどんどん精緻になり、適応性の改善を次のコピーに伝えていきます。同社は、今後さまざまな人がコントロールできないエージェントが溢れることを予測しており、それはゆっくりと寄生する「デジタルミミック」であるかもしれないし、データセンターを攻撃するモデルであるかもしれないし、人間をだまし算力を得る変異体かもしれません。注意すべきサインとして、遅い複製プログラムが増えると、より速く強力なバージョンが迫っていることを示唆する傾向があります。Anthropicは業界に対してシステムを強化し、拡散を阻む努力をするよう提案していますが、これらが長期間存在する世界への準備もしなければなりません。