在人工智能領域，DeepSeek-R1的推出引發了廣泛關注，這一創新代表了 AI 產業的顛覆性進展。其多頭潛在注意力網絡（Multi-head Latent Attention，MLA）架構，藉助低秩壓縮技術顯著降低了訓練與推理的成本，甚至僅爲同等性能大模型的十分之一。這一成果由復旦大學 NLP 實驗室的博士後紀燾及其團隊共同完成，目標是讓任意預訓練的大語言模型能夠快速遷移到 MLA 架構，而無需重新從頭開始訓練。

目前，主流大模型普遍基於標準的多頭注意力機制（MHA）及其變種，這些模型在推理成本上相較於 MLA 存在顯著劣勢。因此，研究團隊提出了 MHA2MLA 框架，旨在通過兩個關鍵步驟 —— 部分 RoPE 保留和鍵值聯合表示低秩近似，成功實現 MHA/GQA 架構向 MLA 的遷移。

image.png

在 MHA2MLA 的實施過程中，團隊首先通過部分 RoPE 微調策略，將位置編碼從大維度中分離，保留了與位置相關的少量維度，解決了 MLA 和 RoPE 之間的衝突。接着，通過奇異值分解（SVD）技術對鍵值向量進行低秩近似，以最大化保留預訓練知識，同時顯著減少緩存空間。實驗結果表明，僅需使用預訓練數據的0.3% 至0.6% 進行微調，便能基本恢復遷移過程中的性能損失。

在與其他高效推理技術結合後，例如4-bit KV 緩存量化，Llama2-7B 模型的 KV 緩存減少了92.19%，而性能損失僅爲0.5%。這一成果展現了 MHA2MLA 框架在壓縮技術上的優越兼容性，同時保持了模型的推理能力和長上下文處理能力，爲部署資源高效的大語言模型提供了一條新的可行路徑。

然而，研究團隊也指出，實驗受到硬件條件的限制，尚未覆蓋如 Llama3等需進行128K 長上下文微調的模型。未來的研究將聚焦於擴展至更多模型架構，並結合參數高效微調策略，進一步降低遷移過程中的參數更新規模。