Meta 在官網發佈兩個 24K H100GPU 集羣，專爲訓練大型模型 Llama-3 而設計。Llama-3 採用 RoCEv2 網絡和 Tectonic/Hammerspace 的 NFS/FUSE 網絡存儲。預計在 4 月末或 5 月中旬上線，可能是多模態模型並繼續開源。Meta 計劃到 2024 年底擁有 600,000 個 H100 的算力。