大模型訓練的地基，正在被一家中國公司悄悄撬動。在GTC2026的演講How We Scaled Kimi K2.5中，月之暗面CEO楊植麟沒有隻講K2.5這一個產品，而是把過去一年多公司想清楚的一件事攤開了:當開源模型要逼近閉源前沿，除了繼續堆參數和算力，還有另一條路——把Transformer時代沿用了近十年的三個基礎組件，各自重新做一遍。優化器Adam（2014年提出）、注意力機制(2017年)、殘差連接(2015年)，月之暗面給這三個地基組件各遞上了一個替代方案，而且全部開源。

QQ20260720-095005.png

楊植麟把整條技術路線拆成三個方向:讓每個Token更值錢、讓更長的上下文真正有用、讓多個Agent同時協作。除此之外，他還拋出了兩個重要進展:視覺訓練如何反哺文本能力，以及月之暗面剛公佈的下一代架構Attention Residue。

先說最現實的一道牆:高質量數據快不夠用了。互聯網上有價值的文本本就有限，模型越做越大、要的數據越來越多，大家遲早撞上數據牆。既然數據很難翻倍，月之暗面的思路是讓模型從同樣的數據裏學到更多，給出的答案是MuonClip，用來替代已經用了十多年的Adam優化器。它基於Muon優化器，在更新參數時儘量讓不同方向的信息保持獨立，減少重複和浪費，從而提高訓練數據的利用效率。實驗結果是:用同樣數量的數據，MuonClip的訓練效果接近把數據量增加一倍，既壓低了訓練成本，也推高了模型能力上限。楊植麟打了個比方:手裏若有50萬億個高質量Token，效率提高一倍，就等於又多出50萬億Token，在優質數據越來越稀缺的當下，這種效率提升比單純加算力更關鍵。

不過Muon有個麻煩:模型擴展到萬億參數後，注意力層裏的數值容易失控，最大logit會突然飆升到1000以上，而正常範圍通常只有50到100，數值繼續膨脹訓練曲線就會發散、整個訓練可能直接崩掉。月之暗面爲此設計了QK-Clip，在模型前向計算時實時檢查每個注意力頭的最大logit，一旦超過安全範圍就同步縮放Q和K的投影把數值壓回來，它不改變收斂效果，只負責維持數值穩定。靠着QK-Clip，Muon被成功擴展到萬億參數規模，訓練了超過15萬億Token，整個過程沒出現過一次loss spike。

第二個方向是讓長上下文真正發揮作用。楊植麟引用了Scaling Law論文作者Jared Kaplan等人的實驗:LSTM讀到一定長度後效果就難再提升，而Transformer上下文越長、預測通常越準，且難見明顯飽和點。這個特性在Agent時代尤爲要緊——複雜任務可能持續幾天甚至幾周，模型得記住之前做了什麼、得到過哪些結果、哪些方向已經失敗，長上下文若不能持續提供有效信息，任務鏈條很容易斷掉。麻煩在於標準全注意力的計算量隨上下文長度平方增長，擴大十倍計算量可能增加一百倍，到百萬Token級別訓練和推理成本都高得嚇人。月之暗面的解法是Kimi Linear，核心是名爲KDA（Kimi Delta Attention）的線性注意力機制，它讓模型學會哪些信息長期保留、哪些快速忘掉。傳統線性注意力只有一個全局衰減係數，像所有內容共用同一個遺忘按鈕;KDA把一個衰減係數拆成多個，不同信息通道可用不同遺忘速度，慢衰減的通道保留長距離信息，快衰減的通道及時騰出空間吸收新內容。實際使用中，Kimi Linear按3比1的比例把線性注意力層和全注意力層混合，楊植麟稱這是第一個在短上下文、長輸入和長輸出任務上都能全面超過全注意力的架構，上下文擴展到百萬Token甚至更長時，效率優勢更明顯。

第三個方向是從一個Agent變成一支Agent團隊，月之暗面稱之爲Agent Swarm。它的組織方式像一家公司:一個主Agent充當CEO，負責理解目標、拆解任務並分配給多個子Agent，子Agent可以分別扮演研究員、程序員、數據分析師和事實覈查員，完成後由主Agent彙總。最大價值是把串行任務改成並行，過去一個Agent要依次搜索、閱讀、分析、編碼、覈查，現在幾十甚至幾百個Agent可以同時開工。訓練這種協作並不容易，月之暗面設計了三種獎勵:實例化獎勵鼓勵主Agent創建更多可並行子任務、避免退化回串行;完成獎勵要求子任務真正做完、防止爲刷獎勵批量開空任務;最終結果獎勵判斷任務是否真正解決。三種獎勵的權重隨訓練動態變化，前期重任務拆解與並行化，後期轉向最終結果。從演示看，Agent Swarm能同時下載閱讀幾百個信息源完成研究、並行撰寫上百頁文獻綜述的不同章節、同時分析十個數據集。Kimi K2.5發佈時它已支持最多100個Agent並行、任務最多執行1500個步驟，而今年4月發佈的K2.6把並行上限提高到了300個。

一個意外收穫出現在視覺與文本的融合上。K2.5與前代K2的關鍵區別是改用早期融合訓練:過去很多開源多模態模型走後期融合，先用約20萬億文本Token訓出語言模型，再用約2萬億多模態Token把視覺能力貼上去;K2.5則從訓練一開始就把視覺和文本數據混在一起，在K2文本基座上又訓練了約15萬億混合Token。這帶來了兩個讓楊植麟興奮的結果。其一是隻訓練視覺任務也能提升文本推理:研究團隊只讓模型數數、識圖、做視覺問答，沒加數學或編程訓練，文本推理能力卻也變強了，換言之模型在練看的同時，想的能力也提升了。其二是反向的，如果文本基座足夠強，模型甚至不一定需要專門的視覺SFT數據——K2.5採用零視覺SFT方案，所有監督微調數據都是純文本，再通過文本與視覺聯合的強化學習獲得視覺能力，最終在視覺任務上仍接近最先進水平。楊植麟認爲，這種雙向遷移來自早期融合:當文本和視覺進入同一表徵空間，一種模態學到的能力纔有機會遷移到另一種，這也是K2.5能看圖寫代碼的根基。

演講末尾，楊植麟介紹了月之暗面剛發佈的新研究Attention Residue（注意力殘差），論文發表於3月15日，距離演講僅兩天。殘差連接是2015年由何愷明等人提出的深度網絡基礎技術，如今是Transformer的標準組件，它讓每一層既處理上層結果、又保留一條直接傳遞信息的通道，使深層模型能穩定訓練。楊植麟援引Ilya Sutskever的說法，把殘差連接理解爲旋轉了90度的LSTM——LSTM在時間維度上傳信息，殘差連接在深度維度上傳信息。既然Transformer已經用注意力替代了LSTM在時間維度上的循環，那麼深度維度是否也能同樣替換?Attention Residue就是這個思路的產物:標準殘差主要用上一層輸出，而它允許當前層查看所有前序層輸出，再通過注意力決定哪些歷史信息保留、哪些忽略，讓模型從被動接收上層結果，變成主動從整個計算曆史中挑選信息。爲控成本，實際採用分塊版Block Attention Residual，每16層組成一個塊，塊內仍是標準殘差，塊間才用注意力殘差，實驗顯示約8個塊就能拿到大部分收益。它帶來了約24%的Token效率提升，按楊植麟的算法，50萬億Token效率提高24%等於額外增加12萬億Token，在GPQA、MATH、HumanEval等推理、數學與編程測試上提升尤其明顯。

把三件套擺在一起看，月之暗面的替代清單清晰得近乎挑釁:Adam換成MuonClip、全注意力換成Kimi Linear、殘差連接換成Attention Residue，分別對應怎麼從有限數據學更多、怎麼更高效用超長上下文、怎麼讓深層網絡更靈活傳信息。三者都能相對獨立地替換現有組件，且都已開源。這些技術能否直接疊加、增益能否簡單相乘，目前還沒經過完整驗證，但它們至少說明了一件事:很多被認爲已經足夠好的基礎組件，可能遠沒有到達終點。在優質數據越來越少、訓練成本越來越高的當下，重新設計優化器、注意力機制和殘差連接，同樣可能帶來可觀的提升。這也正是楊植麟整場演講想表達的核心——開源模型不能只是開放，還必須足夠強。