Metaは、大規模オープンソース基礎言語モデルLlamaの開発者として、将来のモデル訓練に必要な計算能力が大幅に増加すると考えています。

火曜日、Metaの第2四半期決算説明会で、マーク・ザッカーバーグCEOは、Llama4の訓練に必要な計算能力はLlama3の10倍になると明らかにしました。彼は、たとえそうであっても、競合他社に遅れを取らないために、モデル訓練能力を構築する必要があると強調しました。

Meta、メタバース、Facebook

ザッカーバーグCEOは、「Llama4の訓練に必要な計算量は、Llama3のおよそ10倍になる可能性があり、将来のモデルではさらに増加するでしょう」と述べました。また、将来の複数世代のモデルの動向を予測するのは難しいものの、準備に長い時間を要する新しい推論プロジェクトを開始するよりも、今のうちに必要な能力を構築しておく方が良いと指摘しました。

今年4月、Metaは800億パラメーターのLlama3を発表しました。先週、同社は4050億パラメーターのアップグレード版Llama3.1405Bを発表し、これはMeta最大のオープンソースモデルとなりました。

Metaの最高財務責任者（CFO）スーザン・リー氏も、同社は様々なデータセンタープロジェクトを検討しており、将来のAIモデルの訓練能力を構築していると述べています。彼女は、この投資により2025年の資本支出が増加すると予想されると述べました。

大規模言語モデルの訓練は、多額の費用がかかる事業です。2024年第2四半期のMetaの資本支出は、サーバー、データセンター、ネットワークインフラへの投資によって、前年同期比64億ドルから85億ドルに増加し、約33％の伸びを示しました。

要点：

🎯Llama4の訓練に必要な計算能力は、Llama3のおよそ10倍。

🎯Metaは、能力構築への投資により2025年の資本支出が増加すると予想。

🎯大規模言語モデルの訓練には多額の費用がかかり、Metaの第2四半期の資本支出は大幅に増加。