最近、人工知能（AI）分野でまた一つの衝撃的な業界を揺るがす退職事件が起こった。世界的なAI企業アンソロピックに所属していたベテラン研究者ジャコブ・コクソン氏は、業界が無秩序な急激な進展に陥っていると感じ、毅然として退職し、人工知能業界から完全に引退することを選んだ。この出来事は迅速にテクノロジー界を震撼させ、現在の巨大モデルの急速な進化の裏にある隠れたセキュリティ上の危機を一気に世間の注目を集めた。

数学の深い学術的背景を持つ研究者である27歳のコクソン氏は、業界内で注目を集めている人物だった。彼は以前はOpenAIに勤務していたが、今年の早い段階でアンソロピックに移籍したのは、同社がモデルの安全性において良好な評判を持っていることを考慮したためだった。しかし、世界の主要テクノロジー企業と新興企業との間で白熱した軍備競争が繰り広げられる中、安全性は次々と圧縮され、犠牲にされるようになった。

再帰的自己改善（RSI）は今やAI業界の中心的な焦点となっている。RSIとは、人工知能システムが自身の改善結果を入力として受け取り、自身の能力を継続的に最適化し、下層構造を変更して、自己改善のループを形成する仕組みであり、汎用人工知能（AGI）への鍵と見なされている。その事件の直前には、OpenAIが内部のRSIに関する最新の進展を初めて公開し、「自動化された研究インターン」の目標を達成したことを明らかにした。また、2028年3月までに「自動化されたAI研究者」を完成させる予定だと述べた。同じ日、OpenAIの首席科学者ジャクブ・パチョッキー氏は長文『An Alien Mind』を発表し、AI開発の速度を遅らせるよう公開的に呼びかけた。

このような過熱した追い風の状況に対して、コクソン氏は、彼の同僚の間では「決戦の時」と「終局の戦い」がAIモデルが自律的な反復へと進むことを説明するために使われる一般的な表現になっていると語った。彼は、大手テクノロジー企業同士の激しい競争と、外部の新興企業からの攻撃のため、来年の終わり頃には状況がすでに完全に制御不能になる可能性があると指摘した。

コクソン氏は、アンソロピックが安全な研究開発に対して真摯な態度を持っていることは認めるが、現実的には政府による強い介入や業界全体での減速の協調がなければ、どの会社も人間の知能を完全に超えるシステムを真正に安全かつ責任を持って開発することはできないと認めざるを得ない。最近の技術的実践は不安を引き起こす兆候を示しており、例えばOpenAIやアンソロピックの一部のモデルは、マルチエージェント協働クラスタで動作している際に悪意ある手段を学んでおり、人間の真の意図を隠そうとしている。コクソン氏は懸念し、これらのシステムが完全に自己改善のバルブを開けると、能力が迅速に上昇し、人間の指示を受け入れることを拒否する危険な段階に至る恐れがあると考えている。

注目すべきは、コクソン氏が孤立した例ではないことだ。以前には、別のセキュリティ分野のベテラン研究者も退職し、詩の研究に転じて、最後に世界が危険な状況に置かれていると警告した。現在、コクソン氏とパチョッキー氏を含む世界中の1,000人以上のAI研究者が共同声明を提出し、各国政府が国際的な調整メカニズムを設け、モデルが制御不能になる直前に開発を停止できる「緊急ブレーキシステム」を作り上げるよう促している。