在當今人工智能迅速發展的浪潮中，MiniMax M2 作爲一款新的預訓練模型，吸引了衆多關注。其採用的全注意力機制（Full Attention）引發了廣泛討論，許多技術專家和愛好者不禁疑惑：“爲何不繼續發展線性或稀疏注意力技術？” 對此，MiniMax M2 的預訓練負責人決定深入探討這一決策的背後原因。


首先，開發團隊認爲，在現有工業環境中，儘管線性和稀疏注意力技術具有節省計算資源的潛力，但要完全取代全注意力機制仍需時日。大型語言模型（LLM）在實際應用中面臨着各種複雜場景，例如代碼解析、數學計算及多模態數據處理，評估模型的表現不僅需要理論上的支持，更需要在實際應用中進行驗證。


其次，儘管研究人員一直在探索更高效的注意力機制，但在實際應用中，表現優越的模型往往需要配合出色的工程優化。MiniMax M2 團隊清楚地意識到，模型的效果、速度（TPS）和成本是用戶最爲關注的三個方面。爲了提升模型性能，研究人員必須克服評測體系的不完善及觀察成本過高的難題。


最後，MiniMax M2 團隊還面臨着基礎設施的挑戰。相較於全注意力，線性和稀疏注意力的基礎設施相對薄弱，開發者需要爲獲得性能提升而付出更多努力。隨着計算資源的限制和數據處理需求的不斷增長，線性和稀疏注意力的優勢可能會逐漸顯現，因此，團隊正在爲這一轉變提前佈局。


MiniMax M2 團隊將繼續探索更爲高效的模型架構，並對現有的基礎設施進行優化，以滿足未來的計算需求。在不斷前行的道路上，團隊始終保持着對技術的探索熱情，期望在不久的將來推出更具競爭力的產品。