Meta AI 研究人員推出了 MobileLLM，這是一種爲智能手機和其他資源受限的設備設計高效語言模型的新方法。這項研究於2024年6月27日發佈，挑戰了有關有效 AI 模型必要規模的假設。

該研究團隊由 Meta Reality Labs、PyTorch 和 Meta AI Research （FAIR） 的成員組成，專注於優化參數少於10億的模型。這只是 GPT-4等模型的一小部分，據估計，GPT-4等模型的參數超過一萬億。

MobileLLM 的主要創新包括:

  1. 優先考慮模型深度而不是寬度
  2. 實現嵌入共享和分組查詢注意
  3. 利用一種新穎的直接塊權重共享技術

這些設計選擇使得 MobileLLM 在常見基準測試任務上的表現比之前類似規模的模型高出2.7% 到4.3%。雖然這些個位數的改進似乎很小，但它們代表了競爭激烈的語言模型開發領域取得的重大進步。

值得注意的是，在某些 API 調用任務上，MobileLLM 的3.5億參數版本表現出與更大的70億參數 LLaMA-2模型相當的準確率。這表明，對於某些特定應用，更緊湊的模型可能會提供類似的功能，同時使用更少的計算資源。

image.png

MobileLLM 的開發與人們對更高效的 AI 模型日益增長的興趣相吻合。隨着超大型語言模型的進展出現放緩跡象，研究人員越來越多地探索更緊湊、更專業的設計的潛力。儘管名稱中帶有“LLM”，但對效率和設備部署的關注使 MobileLLM 與一些研究人員所說的小型語言模型 （SLM）屬於同一類別。

雖然 MobileLLM 尚未向公衆開放，但 Meta 已將預訓練代碼開源，允許其他研究人員在其工作的基礎上繼續研究。隨着這項技術的發展，它可能會爲個人設備帶來更先進的 AI 功能，儘管時間表和具體功能仍不確定。