360集團宣佈開源升級了自研的7B參數模型360Zhinao3-7B，並已上線Github開源社區，可供免費商用。這一模型不僅在數學和科學領域表現出色，更在通用能力上展現了強大的潛力，尤其在端側應用上具有顯著優勢。

在本次升級中，360Zhinao3-7B模型僅通過增量訓練700B的高質量token，就取得了顯著的效果提升，這相比前代模型360Zhinao2-7B的10.1T token成本大幅降低，且不會增加模型的推理成本。

微信截圖_20250507081022.png

在數據篩選方面，360智腦團隊加大了篩選力度，離線訓練了多種數據篩選模型，對不同種類的數據進行分檔打分，顯著提升了數據質量。此外，他們還調整了數據配比，大幅增加了數學、代碼、指令等數據的佔比，降低了網頁和書籍的佔比，從而進一步提升了模型的指令遵循和推理能力。

360Zhinao3-7B模型還增加了長文本預訓練階段，將最大窗口長度從4k提升至32k，ROPE的base從1w改爲100w。在長文本預訓練階段，團隊增加了超長文本和長代碼的比例，進一步優化了模型的長文本處理能力。

在模型效果方面，360智腦團隊使用開源工具opencompass對模型進行了多維度評估。結果顯示，360Zhinao3-7B模型在10B尺寸附近的模型中，具備較強的競爭力。在微調階段，團隊採用了多種策略，包括蒸餾、強化學習等，進一步提升了模型的性能。在長思維鏈訓練中，360Zhinao3-7B模型經過四個階段的訓練，最終在數學和科學數據上展現了與從0訓練的7B推理模型相當的競爭力，同時在通用多輪對話、角色扮演及複雜指令遵循上表現更爲出色。

360智腦團隊表示，360Zhinao3-7B模型的開源，旨在推動AI技術的發展，爲開發者提供更強大的工具。該模型不僅適用於數學和科學領域，更在端側應用上具有廣泛的應用前景。

https://github.com/Qihoo360/360zhinao3