Meta 創新推出 “連續概念混合” 框架，推動 Transformer 預訓練新革命

近年來，隨着大型語言模型（LLMs）的快速發展，自然語言處理領域經歷了前所未有的變革。這些技術如今廣泛應用於代碼助手、搜索引擎和個人 AI 助手等場景，展現了強大的能力。然而，傳統的 “下一個 token 預測” 範式存在一定侷限性，尤其是在處理複雜推理和長期任務時，模型需要經歷大量訓練才能掌握深層次的概念理解。

爲了解決這一問題，Meta 等機構的研究者們提出了一種名爲 “連續概念混合”（CoCoMix）的新穎預訓練框架。這一方法不僅保留了下一個 token 預測的優點，還引入了通過稀疏自編碼器(SAE)學習到的連續概念，從而提升模型的學習效率和表現。具體來說，CoCoMix 通過選擇最具影響力的概念，將其與 token 的隱藏表示交錯結合，形成了一個全新的學習機制。

在實際應用中，研究者對 CoCoMix 進行了廣泛評估，涵蓋了多個語言建模基準和不同規模的模型。結果顯示，CoCoMix 在訓練 token 的數量減少21.5% 的同時，仍然能夠達到與傳統 token 預測相當的性能。這一發現令人振奮，尤其在從小模型中提取概念用於指導大模型的弱到強監督場景中，CoCoMix 展現出了顯著的改進。

此外，CoCoMix 的可解釋性和可操控性也成爲其重要特徵之一。研究者通過觀察模型在預測過程中的表現，可以清楚地瞭解模型重點關注哪些概念，並通過調整概念的大小來操控模型的輸出結果。這一特性爲進一步的模型分析和優化提供了新的視角。

總的來說，CoCoMix 不僅是對現有語言模型訓練方式的一次創新，也是 Meta 在引領大模型發展趨勢方面的一次重要嘗試。隨着技術的不斷進步，這一框架或將成爲未來自然語言處理領域的關鍵工具，推動 AI 更智能的演進。

項目地址：https://github.com/facebookresearch/RAM/tree/main/projects/cocomix