Meta 作爲大型開源基礎語言模型 Llama 的開發者，認爲未來訓練模型所需的計算力將大幅增加。

週二，在 Meta 的第二季度財報電話會議上，馬克·扎克伯格透露，訓練 Llama4所需的計算力將是訓練 Llama3的10倍。他強調，即便如此，Meta 也要構建訓練模型的能力，以免落後於競爭對手。

Meta，元宇宙，Facebook

扎克伯格表示:“訓練 Llama4所需的計算量可能幾乎是訓練 Llama3的10倍，而且未來的模型所需計算量還會繼續增加。”他還指出，難以預測未來多代模型的發展趨勢，但此刻寧願提前建設所需能力，也不願爲時過晚，畢竟啓動新的推理項目需要很長的準備時間。

今年4月，Meta 發佈了擁有800億參數的 Llama3。上週，該公司又發佈了其升級版 Llama3.1405B，參數達到4050億，成爲 Meta 最大的開源模型。

Meta 的首席財務官蘇珊·李也表示，公司正在考慮不同的數據中心項目，併爲訓練未來的 AI 模型建設能力。她稱，Meta 預計這項投資將增加2025年的資本支出。

要知道，訓練大型語言模型可是個燒錢的業務。2024年第二季度，Meta 的資本支出在服務器、數據中心和網絡基礎設施等方面的投資推動下，從一年前的64億美元增加到85億美元，增長近33%。

劃重點:

🎯Meta 訓練 Llama4所需計算力約爲訓練 Llama3的10倍。

🎯Meta 預計投資建設能力將增加2025年資本支出。

🎯訓練大型語言模型成本高昂，Meta 二季度資本支出大幅增長。