大規模モデルのトレーニングの基盤が、中国企業によって静かに揺さぶられています。GTC2026での講演「How We Scaled Kimi K2.5」において、月之暗面のCEOである楊植麟氏はK2.5という製品だけを語ったわけではなく、過去1年以上かけて会社が明確にした1つの課題を明らかにしました。オープンソースモデルが閉鎖型モデルの先端に近づくためには、パラメータや計算リソースを増やすこと以外にも別の道があるということです。トランスフォーマー時代で約10年間使われてきた3つの基本構成要素をそれぞれ再構築するという道です。オプティマイザーアダム（2014年に提案）、アテンション機構（2017年）、残差接続（2015年）。月之暗面はこれらの基盤となるコンポーネントに対してすべて代替案を提示し、公開しています。

QQ20260720-095005.png

楊植麟氏はこの技術的アプローチを3つの方向に分けて説明しました。1つ目は、各トークンをより価値あるものにする、2つ目は、長い文脈を実際に役立たせる、そして3つ目は、複数のエージェントが同時に協働できるようにすることです。それだけでなく、彼は2つの重要な進展も紹介しました。視覚訓練がテキスト能力に与える影響と、月之暗面が最近発表した次世代アーキテクチャ「Attention Residue」です。

まず、最も現実的な壁について話しましょう。高品質なデータはすでに不足しつつあります。インターネット上の価値あるテキストは限られており、モデルがどんどん大きくなるにつれて必要なデータ量も増えていきます。いつかデータの壁にぶつかるのは必然です。データを倍にすることは難しいので、月之暗面の考え方は、同じデータからもっと学ばせることでした。その答えとして提示されたのが「MuonClip」で、これは10年以上使われてきたアダムオプティマイザーの代替です。Muonオプティマイザーに基づいており、パラメータを更新する際には異なる方向の情報をできるだけ独立させ、重複や浪費を減らすことで、トレーニングデータの利用効率を向上させます。実験結果では、同じ量のデータを使っても、MuonClipのトレーニング効果はデータ量を倍にした場合に近いものとなりました。これによりトレーニングコストは低下し、モデルの性能上限も向上しました。楊氏はこう言いました。「もし50兆個の高品質トークンを持っていれば、効率を倍にすればもう50兆個のトークンが得られる。高品質データがますます珍しくなる今、単に計算リソースを増やすよりも、このような効率の向上がより重要だ。」

ただし、Muonには問題があります。モデルがテラパラメータに拡張されると、アテンション層内の数値が制御不能になることがあります。最大ログジットが1000を超えることもあり、通常の範囲は50〜100です。数値がさらに膨張するとトレーニング曲線が発散し、トレーニング自体が破綻する可能性があります。月之暗面はこの問題に対処するために「QK-Clip」を開発しました。モデルの前向き計算時に、各アテンションヘッドの最大ログジットをリアルタイムでチェックし、安全範囲を超えた場合はQとKの投影を同期して縮小することで数値を戻します。これは収束効果を変えることはなく、数値の安定性を維持するためのものです。QK-Clipのおかげで、Muonはテラパラメータ規模に拡張され、15兆以上のトークンをトレーニングし、一度もloss spikeが発生しませんでした。

2番目の方向性は、長文脈を実際に役立たせる方法です。楊氏はScaling Law論文の著者であるJared Kaplanなどの実験を引用しました。LSTMは一定の長さに達すると効果が向上しなくなりますが、トランスフォーマーは文脈が長ければ長いほど予測が正確になり、明確な飽和点を見ません。この特性はエージェント時代において特に重要です。複雑なタスクは数日乃至数週間かかることがあり、モデルは以前に行ったことや得られた結果、失敗した方向などを記憶しておく必要があります。長文脈が継続的に有効な情報を提供できないと、タスクの連鎖が断絶してしまう恐れがあります。問題は、標準的な完全アテンションの計算量が文脈の長さの二乗に比例して増加することです。文脈を10倍にしても計算量は100倍になります。百万トークンレベルになるとトレーニングおよび推論のコストが非常に高くなります。月之暗面の解決策は「Kimi Linear」であり、そのコアは「KDA（Kimi Delta Attention）」と呼ばれる線形アテンション機構です。この機構はモデルにどの情報が長期的に保持されるべきか、どの情報が速く忘れられるべきかを学ばせます。従来の線形アテンションには1つの全体的な減衰係数があり、すべての内容が同じ忘却ボタンを使用していました。KDAではこの減衰係数を複数に分割し、異なる情報チャンネルごとに異なる忘れ速度を設定します。遅く減衰するチャンネルは長距離情報を保持し、早く減衰するチャンネルは新しい情報をすぐに受け入れるためにスペースを空けます。実際の使用では、Kimi Linearは線形アテンション層と完全アテンション層を3対1の比率で混合しています。楊氏はこれが最初に短文脈・長入力・長出力タスクで完全アテンションを上回るアーキテクチャだと述べています。文脈が百万トークン以上に拡張される場合、効率の優位性はさらに顕著になります。

3番目の方向性は、1つのエージェントからエージェントチームへの移行です。月之暗面はこれを「Agent Swarm」と呼びます。この組織の仕組みは会社のように機能します。メインエージェントがCEOとして目標を理解し、タスクを分解し、複数のサブエージェントに割り当てます。サブエージェントは研究者、プログラマー、データアナリスト、事実確認担当者などとして機能します。完了後、メインエージェントがまとめます。最大の価値は、シーケンシャルなタスクを並列化することです。過去には1つのエージェントが順番に検索、読解、分析、コード作成、確認を行う必要がありました。現在では数十乃至数百のエージェントが同時に作業できます。このような協働のトレーニングは簡単ではありません。月之暗面は3つの報酬設計を考案しました。インスタンス報酬はメインエージェントがより多くの並列可能なサブタスクを作成し、シーケンシャルに戻らないように促します。完了報酬はサブタスクが本当に完了することを要求し、報酬を稼ぐために大量の空のタスクを生成しないようにします。最終結果報酬はタスクが本当に解決されているかどうかを判断します。3つの報酬の重みはトレーニング中に動的に変化します。初期にはタスクの分解と並列化が重点となり、後期には最終結果が重点になります。デモでは、Agent Swarmが数百の情報源をダウンロードして読解し、数百ページの文献レビューの異なるセクションを並列的に執筆し、10のデータセットを同時に分析できることを示しています。Kimi K2.5の発売時には最大で100のエージェントを並列で動作させることができ、タスクは最大で1500ステップまで実行可能でした。今年4月に発表されたK2.6では、並列上限は300に引き上げられました。

視覚とテキストの統合において意外な成果が得られました。K2.5と前バージョンのK2の主な違いは、早期融合トレーニングを採用している点です。過去の多くのオープンソースマルチモーダルモデルは後期融合を採用していました。約20兆のテキストトークンで言語モデルをトレーニングし、その後約2兆のマルチモーダルトークンで視覚能力を追加していました。一方、K2.5はトレーニング開始から視覚とテキストデータを一緒に混ぜ、K2のテキストベースに約15兆の混合トークンでトレーニングを行っています。これにより、楊氏が興奮した2つの結果が得られました。1つ目は、視覚タスクのみをトレーニングしてもテキスト推論能力が向上することです。研究チームはモデルに数えたり、画像を識別したり、視覚質問に答えることをさせただけで、数学やプログラミングのトレーニングは一切行っていません。それでもテキスト推論能力は向上しました。つまり、モデルが見ることを学ぶことで、考える能力も向上したのです。2つ目は逆の現象で、テキストベースが十分強ければ、モデルは特別な視覚SFTデータを必要としないかもしれません。K2.5ではゼロ視覚SFT方式を採用しており、すべての教師付き微調整データは純粋なテキストです。その後、テキストと視覚の共同強化学習を通じて視覚能力を得ており、最終的に視覚タスクでも最前線水準に近づきました。楊氏は、この二方向の移行が早期融合によって可能になったと考えています。テキストと視覚が同じ表現空間に入れば、片方で学んだ能力がもう片方に移行する機会があります。それがK2.5が画像を見てコードを書ける理由です。

講演の終わりに、楊氏は月之暗面が近日発表した新研究「Attention Residue（アテンション残差）」を紹介しました。論文は3月15日に掲載され、講演からわずか2日後のことです。残差接続は2015年にHe Kaimingらによって提唱された深層ネットワークの基礎技術であり、現在はトランスフォーマーの標準的なコンポーネントとなっています。この技術は、各層が上位の結果を処理するだけでなく、直接情報を伝えるパスも保持し、深いモデルが安定してトレーニングできるようにします。楊氏はIlya Sutskeverの言葉を引用し、残差接続を90度回転させたLSTMと捉えました。LSTMは時間軸で情報を伝えるのに対し、残差接続は深さの軸で情報を伝えるのです。トランスフォーマーが時間軸での循環をアテンションで置き換えたのと同じように、深さの軸も置き換え可能でしょうか？Attention Residueはこの考え方の産物です。標準的な残差接続は前のレイヤーの出力を主に使うのに対し、Attention Residueは現在のレイヤーがすべての前のレイヤーの出力を参照し、アテンションを通じてどの歴史情報を取り込むか、どの情報を無視するかを決定します。これにより、モデルは上位の結果を受動的に受け取る代わりに、計算の歴史全体から情報を主動的に選択できるようになります。コストを抑えるために、実際にはブロック版のBlock Attention Residualが採用されています。16レイヤーごとにブロックを作り、ブロック内では標準的な残差接続が使われ、ブロック間でアテンション残差が使われます。実験によると、約8つのブロックで大部分の利益を得られます。これにより、約24%のトークン効率が向上し、楊氏のアルゴリズムによれば、50兆トークンの効率が24%向上すれば、追加で12兆トークンが得られる計算になります。GPQA、MATH、HumanEvalなどの推論、数学、プログラミングテストでは特に顕著な向上が見られました。

この三つの技術を合わせて見ると、月之暗面が提示する代替案は明確でさえも挑発的です。アダムをMuonClipに、完全アテンションをKimi Linearに、残差接続をAttention Residueに置き換える。それぞれがどうやって限られたデータからより多く学び、どのように超長文脈をより効率的に使い、どうやって深いネットワークで情報をより柔軟に伝えるかに関係しています。これらはいずれも既存のコンポーネントを相対的に独立して置き換えることができ、すべて公開されています。これらの技術が直接重ね合わされて、恩恵が単純に掛け算されるかどうかはまだ完全には検証されていませんが、少なくとも一つのことを示しています。多くの人々がすでに十分良いと感じている基本的なコンポーネントが、実はまだ到達していない可能性があるということです。高品質データが減少し、トレーニングコストが高騰する今、オプティマイザー、アテンション機構、および残差接続を再設計することも、大きな改善をもたらす可能性があります。これは楊氏がこの講演で伝えたい核心です。オープンソースモデルは単に公開されるだけでなく、十分に強くてなければならないのです。