京東於 2 月 14 日在 Hugging Face 平臺上正式開源了其最新的大模型 ——JoyAI-LLM-Flash。該模型總參數達到 48 億,其中激活參數爲 3 億,經過 20 萬億文本 Token 的預訓練,展現出卓越的前沿知識理解、推理能力和編程技能。
JoyAI-LLM-Flash 採用全新 FiberPO 優化框架,將纖維叢理論引入強化學習,並結合 Muon 優化器及稠密多 Token 預測技術,成功解決了傳統模型規模擴展時的不穩定問題。與非 MTP 版本相比,其吞吐量提升了 1.3 倍至 1.7 倍,極大增強了模型的訓練效率和應用潛力。
這款模型的架構爲混合專家模型(MoE),層數達到 40 層,支持 128K 的上下文長度和 129K 的詞表大小,標誌着京東在 AI 領域的重要進展。
