螞蟻集團旗下百靈大模型團隊在近期螞蟻技術日上宣佈重大決定:將統一多模態大模型Ming-lite-omni進行全面開源。這一舉措不僅標誌着螞蟻集團在AI領域的又一次重大開放,更被業界視爲首個在模態支持方面能夠與GPT-4o相媲美的開源模型。
220億參數的技術突破
Ming-lite-omni基於Ling-lite構建,採用先進的MoE(專家混合)架構,擁有220億總參數和30億激活參數的強大配置。這一參數規模在開源多模態模型中達到了新的高度,展現了螞蟻集團在大模型技術上的深度積累。
目前,Ming-lite-omni的模型權重和推理代碼已向公衆全面開放,後續的訓練代碼和訓練數據也將陸續發佈,爲全球開發者提供完整的技術支持。
持續開源戰略顯成效
今年以來,百靈大模型團隊已連續開源多個重要模型產品,包括Ling-lite、Ling-plus等大語言模型,多模態大模型Ming-lite-uni以及預覽版Ming-lite-omni。
其中,五月中旬開源的Ling-lite-1.5版本能力已接近同水位SOTA水平,性能介於千問4B和8B之間,成功驗證了300B尺寸SOTA MoE大語言模型在非高端算力平臺上訓練的可行性。
性能對標國際頂級模型
在多項理解和生成能力評測中,Ming-lite-omni的性能與10B量級領先的多模態大模型相當或更優。螞蟻集團表示,這是目前已知首個在模態支持方面能夠與GPT-4o相媲美的開源模型,爲全球開發者提供了重要的技術選擇和參考標準。
百靈大模型負責人西亭介紹了團隊的技術路線:"我們堅定地在語言大模型和多模態大模型上統一使用MoE架構,並大量使用非高端算力平臺,成功證明了國產GPU在訓練可比擬GPT-4o模型方面的能力。"