近日，DeepSeek發佈了一篇關於大模型訓練的最佳端到端技術論文，引發業界廣泛關注。該論文全面闡述了DeepSeek在大模型研發中的技術突破，涵蓋軟件、硬件及混合優化方案，展現了其令人驚歎的工程深度。

在**軟件**層面，論文詳細介紹了多頭潛在注意力機制（MLA），顯著降低推理過程中的內存佔用;FP8混合精度訓練通過低精度計算提升效率，同時保證數值穩定性;DeepEP通信庫優化了專家並行(EP)通信，支持FP8低精度操作，加速MoE模型訓練與推理;LogFMT對數浮點格式則通過均勻化激活分佈，進一步優化計算效率。

QQ20250521-100157.png

在**硬件**方面，DeepSeek採用Multi-Rail Fat Tree網絡拓撲，結合Ethernet RoCE交換機，極大提升了集羣網絡性能，降低了通信開銷，確保大規模訓練的高效性

**混合優化**包括IBGDA（基於InfiniBand的組數據聚合），通過高效通信內核減少跨節點MoE訓練的瓶頸;3FS(Fire-Flyer文件系統)充分利用現代SSD和RDMA網絡帶寬，優化數據訪問效率，爲AI高性能計算提供強力支持。

DeepSeek通過算法、框架與硬件的協同設計，克服了內存容量、計算效率和互聯帶寬的瓶頸，顯著降低了訓練成本。其V3模型在2048塊NVIDIA H800GPU上訓練，僅需278.8萬GPU小時，性能媲美頂級閉源模型，彰顯了開源AI的巨大潛力。

這篇論文不僅展示了DeepSeek在技術創新上的領先地位，也爲全球AI社區提供了寶貴的參考，推動了大模型訓練的效率與可及性。DeepSeek的開放協作精神和工程實力，正引領AI技術邁向新高度。

論文地址：https://www.alphaxiv.org/abs/2505.09343