今天，我們正式推出了 Ring-mini-2.0，這是一款基於 Ling-mini-2.0架構深度優化的高性能推理型 MoE 模型。Ring-mini-2.0的總參數量達到16B，但在實際運行中僅需激活1.4B 參數，便能實現相當於10B 級別以下的密集模型的推理能力。

這款模型在邏輯推理、編程和數學任務中表現尤爲出色，支持128K 的長上下文，使得其在各種應用場景中都能展現出強大的能力。此外，Ring-mini-2.0的生成速度也相當驚人，能夠實現300+ token/s 的快速生成，經過優化後更是可以突破500+ token/s。

大模型 元宇宙 (1)

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

在推理能力的提升方面，Ring-mini-2.0在 Ling-mini-2.0-base 的基礎上進行了更深層次的訓練，通過 Long-COT SFT、大規模 RLVR 和 RLHF 的聯合優化，顯著增強了模型在複雜推理任務中的穩定性和泛化能力。我們在多個高難度基準測試中，發現其性能顯著超越了10B 以下的密集模型，甚至可以與一些更大型的 MoE 模型相媲美，特別是在邏輯推理方面表現優異。

此外，Ring-mini-2.0在設計上注重高效性，通過1/32的專家激活比和 MTP 層架構優化，實現了約7-8B 密集模型的等效性能。這種高稀疏度和小激活設計，使得其在 H20環境下可以實現300+ token/s 的推理速度，同時結合 Expert Dual Streaming 的優化，進一步降低了推理成本。

爲了促進學術與工業界的研究和應用，Ring-mini-2.0的模型權重、訓練策略和數據配方將全面開源。我們期待這款 “小而優” 的模型能夠成爲小型推理模型的首選，並歡迎大家訪問我們的開源倉庫進行下載和使用。未來，在 Ling2.0架構的支持下，我們將繼續推出更大、更快、更強的語言模型和全模態模型，敬請期待!