美國科技巨頭 Meta 推出了其最強大的開源人工智能模型 Llama4。此次首批發布共兩款,分別是 Llama4Scout 和 Llama4Maverick 。
Llama4Scout 共有1090億參數,170億活躍參數,16個專家,最大亮點是支持1000萬上下文,這相當於可以處理20+ 小時的視頻,並且僅在單個 H100GPU(Int4量化後)上就能運行。在基準測試中,其性能超越 Gemma3、Gemini2.0Flash - Lite、Mistral3.1。
Llama4Maverick 共有4000億參數,170億活躍參數,128個專家,100萬上下文。在大模型 LMSYS 排行榜上,Llama4Maverick 衝上第二(ELO 得分1417),僅次於閉源 Gemini2.5Pro,且僅用一半參數,其推理編碼能力就與 DeepSeek - v3-0324實力相當。
另外,還有更強大的2萬億參數 Llama4Behemoth 將在未來幾個月面世,它有2880億活躍參數,16個專家,目前在 STEM 基準測試中,已超越了 GPT -4.5、Claude Sonnet3.7、Gemini2.0Pro。
Llama4系列首次採用混合專家(MoE)架構,該架構在訓練和回答用戶查詢時效率更高。Llama4還是原生多模態模型,採用早期融合技術,能無縫整合文本和視覺 token。同時,Meta 還升級了視覺編碼器,並開發了新訓練方法 MetaP 來優化超參數。即日起,開發者可以在llama.com和 Hugging Face 下載這兩款最新模型。
劃重點:
- 🌟Meta 推出開源多模態 Llama4,首批發布 Llama4Scout 和 Llama4Maverick,未來還將推出 Llama4Behemoth。
- 💪Llama4性能強勁,在大模型排行榜中表現突出,推理編碼等能力與其他優秀模型相當甚至超越。
- 🛠️採用 MoE 架構,爲原生多模態模型,有技術升級與新訓練方法,開發者可下載使用。