近日,騰訊發佈了混元大模型系列的正式版 —— 混元 - T1。這款新模型基於混元中等規模底座,經過大規模後訓練,顯著增強了推理能力,特別是在深度思考和複雜問題解決方面表現出色。自從今年2月混元 T1-Preview 上線以來,用戶們便體驗到了更快、更深刻的思考過程,而此次正式版的推出,則標誌着該系列產品的進一步升級。

QQ_1742781079757.png

混元 - T1的研發團隊利用最新的 TurboS 基座,這是一種行業領先的超大規模 Hybrid-Transformer-Mamba MoE 模型。TurboS 在處理長文本推理時展現出獨特優勢,有效解決了上下文丟失和長距離信息依賴的問題。此外,Mamba 架構也經過專門優化,能夠在保持信息捕捉能力的同時,顯著減少計算資源的消耗。根據官方數據,在相同的部署條件下,混元 - T1的解碼速度快了兩倍。

QQ_1742781123687.png

在後訓練階段,團隊投入了96.7% 的算力進行強化學習訓練,專注於提升推理能力以及對齊人類偏好的優化。團隊收集了大量的世界理科難題,涵蓋數學、邏輯推理、科學及代碼等領域,確保模型在各種推理任務中展現卓越的表現。訓練中採用課程學習的方式,逐步提高數據難

體驗入口:https://llm.hunyuan.tencent.com/?ref=producthunt#/chat/hy-t1