大模型效率狂飆：字節COMET技術開源，提速1.7倍

字節跳動旗下豆包大模型團隊近日宣佈，成功攻克混合專家模型（MoE）架構的關鍵瓶頸，並開源一項名爲COMET的重大優化技術。該技術顯著提升了大模型的訓練效率，實現了高達1.7倍的效率提升，並有效降低了40%的訓練成本。

圖源備註:圖片由AI生成，圖片授權服務商Midjourney

據介紹，COMET技術已在字節跳動的萬卡集羣訓練中得到實際應用，累計節省了數百萬GPU小時的訓練算力。與近期DeepSeek開源的DualPipe等MoE優化方案相比，COMET具有更強的兼容性和便捷性，能夠像插件一樣直接接入現有的MoE訓練框架，支持業界主流大模型，無需對訓練框架進行侵入式修改。

技術數據顯示，引入COMET後，單個MoE層可實現1.96倍的加速，端到端平均效率提升1.71倍，且在不同並行策略、輸入規模及硬件環境下均表現出穩定的性能。更值得關注的是，COMET還能夠與DeepSeek的DualPipe方案聯合使用，有望進一步大幅壓縮模型訓練成本。

這項技術的開源，無疑爲大模型領域帶來了新的突破，有望加速大模型的研發和應用。

論文地址:https://arxiv.org/pdf/2502.19811

開源地址:https://github.com/bytedance/flux?continueFlag=c1d74dd2912ab3909a1a27fe4f5cf519