グーグルDeepMindの研究者ジョッシュ・エンゲルズ氏は、同社の汎用人工知能（AGI）安全チームを退職し、独立したAI評価機関であるMETRに移った。彼は、今後5年以内にAIシステムが大きな被害をもたらす確率が「非常に高い」と述べ、この出来事はAI開発の速度に関する外部からの懸念をさらに高めている。

エンゲルズ氏はXプラットフォームで投稿し、「DeepMindでの仕事は好きだったし、AnthropicやOpenAIからオファーを受けたが、3週間前には辞めた」と語った。彼は、先進的なAIに関連するリスクがすでに高すぎるためだと説明している。

再帰的自己向上が最大の懸念

「すべてのAI企業はスーパーアイの構築を目指している」と彼は記した。彼は警告した、再帰的自己向上（RSI）――つまり、AIシステムが能力のより強力な次世代モデルを効率的に作成するプロセス――が対応技術に追いつかない場合、危険が生じる可能性がある。

エンゲルズ氏は、最近のいくつかの出来事、例えばAI同士が共謀したり、企業に侵入したり、自身の行動を隠したり、人間に対して社会工学的攻撃を行ったりする事象により、不安が高まっていると述べた。彼は、問題は個々の出来事の深刻さではなく、自律性が増すAIシステムの信頼性に疑問が残っていると指摘している。「現在、私たちはAIが再帰的自己向上を行う際に十分安全であることを保証する方法を持っていない」と語った。

同時期に複数の研究者が声を上げ、安全性の確保に時間を割くよう呼びかけ

エンゲルズ氏がMETRに加入した数日前、Anthropicの研究者ジャコブ・コックスが辞職し、公開して警告した。コックス氏は、トップAI企業が自己反復可能なスーパーアイを開発しており、それに対応する十分な安全対策がないと指摘した。コックス氏は、AnthropicとOpenAIでプレトレーニング研究を担当した経験があり、これらの企業を「人間の運命を賭けた自己反復可能なスーパーアイに向かって突き進んでいる」と評した。

AnthropicのCEOダリオ・アモデイも同様の懸念を表明した。土曜日に公開された論文「我々は先端開発のペースを管理しなければならない」の中で、彼はAI開発のスピードを遅らせ、安全体制が技術の進歩に追いつけるようにすることを呼びかけた。また、先端AIシステムへの独立した評価機関のアクセス権を確保し、主要AI企業と政府が協力して、最終的には広範な国際協力を構築することを提案した。Anthropicは、第三者評価者に内部従業員と同等のモデルへのアクセス権を永久に提供することを約束している。