Metaは、大規模言語モデルLlama-3のトレーニング専用に設計された、2つの24K H100 GPUクラスタを公式ウェブサイトで発表しました。Llama-3は、RoCEv2ネットワークとTectonic/HammerspaceのNFS/FUSEネットワークストレージを採用しています。4月末から5月中旬にかけての公開が予定されており、マルチモーダルモデルとなり、引き続きオープンソースとして提供される可能性があります。Metaは、2024年末までに60万個のH100の計算能力を保有する計画です。