螞蟻百靈大模型團隊近日宣佈,正式開源其最新的高性能思考模型 ——Ring-flash-2.0。這款模型是在 Ling-flash-2.0-base 基礎上經過深度優化而成,標誌着人工智能領域的一次重大進步。Ring-flash-2.0的總參數達到100億,但在每次推理時,僅激活其中6.1億,這種高效的激活機制爲模型提供了強大的計算能力,同時也節省了大量資源。

從團隊的介紹來看,Ring-flash-2.0在多個高難度基準測試中表現出色,包括數學競賽、代碼生成以及邏輯推理等。其性能不僅超越了同類的40億參數模型,甚至能夠與更大規模的開源稀疏模型(MoE)以及一些閉源的高性能思考模型 API 相媲美,顯示出其卓越的競爭力。

image.png

爲了全面提升 Ring-flash-2.0的模型能力,螞蟻百靈團隊設計了一套創新的兩階段強化學習(RL)訓練流程。首先,通過輕量化的 Long-CoT(長序列鏈式思考)SFT(有監督微調),使 Ling-flash-2.0-base 模型能夠掌握多種思考方式。接着,採用可驗證獎勵的 RLVR(強化學習可驗證獎勵)訓練,持續激發模型的推理潛能。最後,加入了強化學習人類反饋(RLHF)階段,以增強模型的通用能力。

image.png

值得一提的是,Ring-flash-2.0的模型權重、強化學習訓練方案和數據配方都將完全開源,爲廣大開發者和研究者提供了寶貴的資源。感興趣的用戶可以在 Hugging Face 和 ModelScope 上獲取相關資料,開始探索這款強大的模型。

image.png

隨着 AI 技術的不斷髮展,Ring-flash-2.0無疑爲未來的智能應用開闢了新的可能,期待它在各個領域的廣泛應用和更進一步的突破!

模型地址:

https://huggingface.co/inclusionAI/Ring-flash-2.0

https://modelscope.cn/models/inclusionAI/Ring-flash-2.0