​ 螞蟻集團周俊：萬億參數模型從“追求數量”邁向“深耕密度”

在近日舉行的 AICon 大會上，螞蟻集團副總裁周俊發表了一場引人注目的演講，聚焦於如何提升萬億參數模型的效率。周俊提到，現代 AI 模型的算力消耗驚人，尤其是萬億參數模型，每運行15分鐘的算力成本竟然相當於一輛特斯拉的費用。這無疑是在警示大家，提升效率已經成爲智能體時代亟需解決的核心問題。

爲了應對這一挑戰，周俊和團隊提出了一項顛覆性的策略:從 “更多 Token” 轉向 “更高 Token 密度”。他們採用了一種名爲 “7份 Lightning Attention 加1份 MLA” 的混合線性注意力架構，這一創新的設計使得處理256K 長度的上下文成本，從原來的指數級別下降到了線性級別，從而讓算力可以更有效地用於思考。

除此之外，團隊還引入了 Kpop 算法，以更好地區分工具調用與自然語言 Token，同時結合思維鏈剪枝和自蒸餾等技術手段，這些創新使得 Token 輸出減少了約4倍，但模型的能力並沒有因此下降。周俊指出，在 LongBench 和 BFCL 等多個基準測試中，他們的千億參數模型已經在 Agent 任務上超過了一些更大規模的模型。令人振奮的是，小型模型的 flash 吞吐率也達到了2.4倍，五輪對話的算力成本降低了超過10倍。

可以說，周俊的演講不僅爲業界帶來了新的思路，也爲未來的智能體設計提供了可行的參考。面對日益增長的算力需求，提升大模型的效率顯得尤爲重要，而螞蟻集團所提出的這一系列創新，無疑爲行業帶來了新的曙光。

劃重點:

🌟 周俊強調萬億參數模型的算力成本與特斯拉相當，提升效率刻不容緩。

🔑 團隊提出從 “更多 Token” 轉向 “更高 Token 密度”，創新架構大幅降低上下文處理成本。

🚀 採用 Kpop 算法與其他技術，使得 Token 輸出減少但能力不降，千億參數模型在多個基準測試中表現出色。