イギリスとアメリカの両国のAIセキュリティ機関が共同で実施した評価により、月之暗面が開発した最新モデル「Kimi K3」の「裏面」が明らかにされた。英国人工知能安全研究所（UK AISI）と米国人工知能標準・イノベーションセンター（CAISI）はこのモデルに対して攻撃的なネットワークタスクの検査を実施し、その結果はこうだった：同モデルは脆弱性利用開発およびシミュレートされたネットワーク攻撃において、米国の先進モデルに大幅に後れを取っているものの、同じく中国から出た智譜GLM-5.2よりは優れている。オープンウェイトモデルの中で新たな基準として立ち上がっている。さらに深刻なのは、Kimi K3のセキュリティのバリアが脆弱性利用の開発をほとんど阻止できていなかったことだ。このような操作を行う際には、それほどの抵抗に遭遇していない。

この「試験」で使用された最初の問題紙は、カーネギーメロン大学が開発したExploitBenchベースラインである。これは2023年以降のChrome V8エンジンで見つかった41個の本物の脆弱性をもとに、ソフトウェアの利用プロセスを通じて得点をつけるものだ。その結果の差は驚くほど大きい：米国の先進モデルは平均76.2%の得点を獲得したが、Kimi K3はわずか32.2%にとどまり、GLM-5.2は24.4%で後ろに控えている。さらに重要なのはランク付けだ。41項目のタスクにおいて、Kimi K3は最高の「任意コード実行」（ACE）に達することができず、それは最も危険な利用レベルであり、攻撃者が対象システムを完全に制御できるという意味だ。一方の米国モデルは41項目中20項目でACEを達成している。補足しておくと、英米機関が米国の閉鎖的ウェイトモデルをテストする際にはシステムレベルのセキュリティ保護をオフにしていたが、それはこれらのモデルの最大限の能力を測るためだった。それらの保護機能は公開バージョンではデフォルトで有効になっている。

image.png

第二の問題紙は「最後の生存者」と呼ばれるTLOであり、4つのサブネットをまたぐ約20台のマシンを対象とした企業ネットワーク攻撃を模倣したものである。全体で32ステップのパスがあり、研究機関によると人間の専門家であれば20時間程度かかるという。現在、世界中で実際に通過可能なモデルはごくわずかで、これまでに4つの公開可能な閉鎖的ウェイトモデルがこのテストを突破している。最も強力なモデルでも10回の試行の中で6〜7回成功している。Kimi K3は平均して17番目のステップで詰まってしまうが、米国の先進モデルは28.5番目まで進め、GLM-5.2は11番目まで到達している。しかし、10回の試行の中で、Kimi K3は1億トークンの制限内で攻撃チェーンをすべて完了させることができており、その能力はあることを示しているが、調整がうまくいかない、不安定な状態である。機関の判断はこうだ：初期のネットワークアクセス権を手に入れた上で、別の指示を与えることで、Kimi K3は規模が小さく、防御が弱く、攻撃しやすい企業システムを自主的に攻め落とすことができる。注意すべきは、TLOは主動的な防御を考慮していないため、完全な現実に近づいていないということだ。だが、今週、OpenAIモデルがHugging Faceを自主的に侵入しようとしたことが公表され、相手はオープンウェイトモデルを使用したが、最終的には攻撃を防いだ。

時間軸を広げて見れば、中国モデルは確かに追いつこうとしているが、常に一歩遅れている。CAISIは2025年初頭からの米中モデルのネットワーク能力をEloスコアリングシステムで追跡しており、二つのトレンド線は上昇しているが、赤色の中国線と青色の米国線の間に一直線のギャップがある。Eloスコアが400ポイント上がると、タスクを解決する確率は10倍になる——その差は非常に大きなものだ。以前、英国機関はオープンソースモデルと米国システムの性能差を4〜7ヶ月と推定していたが、2025年初頭は6〜10ヶ月だった。最新の結果はちょうどその規則に当てはまっている。AISIの警告は明確だ：オープンソースモデルの増加するネットワーク能力は、「継続的かつ不可逆的な悪用リスク」であり、無視できない。