MiniMax於2025年1月15日宣佈開源其全新系列模型MiniMax-01，該系列包含基礎語言大模型MiniMax-Text-01和視覺多模態大模型MiniMax-VL-01。MiniMax-01系列在架構上進行了大膽創新，首次大規模實現線性注意力機制，打破了傳統Transformer架構的侷限。其參數量高達4560億，單次激活459億，綜合性能與海外頂尖模型相當，且能高效處理長達400萬token的上下文，這一長度是GPT-4o的32倍、Claude-3.5-Sonnet的20倍。

MiniMax認爲2025年將是Agent高速發展的關鍵年份，無論是單Agent系統還是多Agent系統，都需要更長的上下文來支持持續記憶和大量通信。MiniMax-01系列模型的推出，正是爲了滿足這一需求，邁出建立複雜Agent基礎能力的第一步。

微信截圖_20250115091926.png

得益於架構創新、效率優化以及集羣訓推一體設計，MiniMax能夠以業內最低的價格區間提供文本和多模態理解的API服務，標準定價爲輸入token1元/百萬token，輸出token8元/百萬token。MiniMax開放平臺及海外版已上線，供開發者體驗使用。

MiniMax-01系列模型已在GitHub開源，並將持續更新。在業界主流的文本和多模態理解測評中，MiniMax-01系列在多數任務上追平了海外公認的先進模型GPT-4o-1120和Claude-3.5-Sonnet-1022。特別是在長文任務上，與Google的Gemini模型相比，MiniMax-Text-01隨着輸入長度增加，性能衰減最慢，顯著優於Gemini。

MiniMax的模型在處理長輸入時效率極高，接近線性複雜度。其結構設計中，每8層中有7層採用基於Lightning Attention的線性注意力，1層採用傳統SoftMax注意力。這是業內首次將線性注意力機制擴展到商用模型級別，MiniMax在Scaling Law、與MoE結合、結構設計、訓練優化和推理優化等方面進行了綜合考量，並重構了訓練和推理系統，包括更高效的MoE All-to-all通訊優化、更長序列優化以及推理層面線性注意力的高效Kernel實現。

在大部分學術集上，MiniMax-01系列取得了比肩海外第一梯隊的結果。在長上下文測評集上更是顯著領先，如在400萬的Needle-In-A-Haystack檢索任務上表現優異。除了學術數據集，MiniMax還構建了基於真實數據的助手場景測試集，MiniMax-Text-01在該場景中表現突出。在多模態理解測試集中，MiniMax-VL-01也較爲領先。

開源地址：https://github.com/MiniMax-AI