深圳元象信息科技有限公司近日宣佈,公司已成功發佈中國最大的Mixture of Experts(MoE)開源大模型——XVERSE-MoE-A36B。這款模型的發佈標誌着中國在AI領域的一大進步,將國產開源技術提升至國際領先水平。
XVERSE-MoE-A36B模型擁有255B的總參數和36B的激活參數,其性能可與超過100B參數的大模型相媲美,實現了跨級的性能躍升。該模型在訓練時間上減少了30%,推理性能提升了100%,大幅降低了每token的成本,使得AI應用的低成本部署成爲可能。
元象XVERSE的"高性能全家桶"系列模型已全面開源,無條件免費供商業使用,這爲衆多中小企業、研究者和開發者提供了更多的選擇機會。MoE架構通過組合多個細分領域的專家模型,打破了傳統擴展定律的侷限,在擴大模型規模的同時,保持了模型性能的最大化,並降低了訓練和推理的計算成本。
在多個權威評測中,元象MoE的效果顯著超越了多個同類模型,包括國內千億MoE模型Skywork-MoE、傳統MoE霸主Mixtral-8x22B,以及3140億參數的MoE開源模型Grok-1-A86B等。
免費下載大模型
Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github:https://github.com/xverse-ai/XVERSE-MoE-A36B
問詢:opensource@xverse.cn
官網:chat.xverse.cn