在大語言模型技術發展的新潮流中，螞蟻技術研究院於近日正式發佈了 LLaDA2.0系列，這是業內首個參數規模達到100B 的離散擴散大語言模型（dLLM）。這一創新的模型不僅打破了擴散模型難以規模化的固有印象，還在生成質量和推理速度上實現了顯著的提升，爲大語言模型領域開闢了新的發展方向。

QQ20251212-161353.png

LLaDA2.0系列包括兩種版本:16B（mini）和100B(flash)。此次發佈的100B 版本，是目前最大的擴散語言模型，特別適合在複雜的代碼生成和指令執行任務中展現其卓越性能。螞蟻集團表示，LLaDA2.0通過全新的 Warmup-Stable-Decay(WSD)預訓練策略，實現了自迴歸(AR)模型知識的無縫繼承，避免了從零開始訓練的高昂成本。

在技術細節方面，LLaDA2.0展現出了並行解碼的優勢，其推理速度達到535tokens/s，比同級的 AR 模型快了2.1倍。這一速度的提升得益於模型在推理過程中的 KV Cache 複用和塊級並行解碼技術。此外，螞蟻集團在後訓練階段通過互補掩碼和置信度感知並行訓練（CAP）進一步優化了模型的數據效率和推理速度。

LLaDA2.0在多個評測維度上表現突出，尤其是在結構化生成任務，如代碼生成領域，顯示出更強的全局規劃能力。在複雜的智能體調用和長文本任務中，LLaDA2.0同樣表現優異，展現了其在多樣化應用場景中的強大適應能力。

螞蟻集團的發佈不僅標誌着離散擴散技術的一個里程碑，同時也預示着擴散模型在超大規模應用場景下的可行性與優勢。未來，螞蟻集團將繼續探索擴散模型的潛力，計劃擴展參數規模，深入融合強化學習及思考範式，並致力於推動生成式人工智能的進步。

地址:https://huggingface.co/collections/inclusionAI/llada-20