CNBCによると、AnthropicのCEOであるDario Amodeiは、先端AI企業に長期的に独立した第三者の安全評価者を統合することを提案し、彼らが内部リスクチームに近いアクセス権を持ち、限定的な削減の下で自主的に調査結果を公開する権限を持つことを示しました。彼は銀行業界における統合監督を例として挙げ、Anthropicが第三者評価者に内部リスクチームと同等のシステムへのアクセスを提供すると約束しています。

アモデイは今週末に書いた長文では、今後6〜12か月以内に、誤ったスマートエージェントの群れがインターネットの大部分を占め、数千億ドルの損失をもたらす可能性があると警告しました。以前には、Anthropicの元研究者Jacob Coxonが辞職し、先端研究室が制御不能なシステムを追いかける競争をしていると警告していました。

銀行検査官は銀行を閉鎖できるが、AI評価者は否決権がない

複数の銀行監督専門家やAI評価者らは、この案が銀行監督者が持つ強制力を持っていないと指摘しています。ワイオミング大学法科大学院長のJulie Andersen Hill氏は、「政府検査官は大規模銀行に常駐し、特定の業務を停止させたり、成長を制限したり、管理層の変更を強制したり、極端な場合は銀行を閉鎖することもできます。一方、アモデイが提案している評価者は調査と報告を行うだけで、モデルの訓練や公開を阻止する権限はありません。これは根本的な違いであり、銀行監督者の権限ははるかに大きいからです」と述べました。

サイバーセキュリティ会社XBOWのAI責任者アルベルト・ジーグラー氏は、「ブラックボックステストはモデルが危険なタスクを実行できるかどうかを明らかにしますが、重大なリスクは評価者が一度もトリガーしない条件の組み合わせで発生する可能性があります。『私たちは実際に否決権を持っていません』。評価者は会社に発表前に知らせる決定を迫ることができますが、最終的な決定権は会社にあります。

「独立性」に疑問：METRの役割と「監査洗浄」の批判

アモデイは非営利団体METRを潜在的な評価機関として名指しし、別の元Anthropic研究者であるジョー・ベントンが最近METRに転職しました。カリフォルニア大学バークレー校の研究者デボラ・ラジは、このような配置には財務的、思想的、個人的な利益の衝突があり、METRは近年主にAnthropicとOpenAIに注力しており、「さまざまな奇妙なことが起こる」可能性があると指摘しました。彼女は、アクセス権を得ただけでは独立とは言えず、誰が評価資格を持つのか、何を検査できるのか、結果をどこに報告するのかを決定するのは会社とは独立した機関であるべきだと述べています。そうしなければ、「会社が普通の友人を雇って宿題をチェックするようなもの」になります。

ラジ氏は、「最終的な判断基準は不利な発見が結果をもたらすかどうかです。『あなたが監査をしたのに何も起こらなかったなら、それは監査洗浄です』。Hill氏は、「もし本気でAIが社会を破壊する力を持っていると信じているなら、電源を切るための独立した監視者がいる必要があります」と語りました。

Anthropicの公共政策担当者Sarah Heckは水曜日に反応し、「AI企業は『名誉規則』で監督と安全問題を管理することはできません」と述べました。「自分自身の宿題をチェックするわけにはいかないことは非常に明確です。」