來自俄羅斯的科技巨頭Yandex日前向全球AI社區開源了其自主研發的YaFSDP工具，這是業界目前最高效的大型語言模型(LLM)訓練優化方法。與行業內廣泛使用的FSDP技術相比，YaFSDP最高可將LLM訓練速度提升26%，有望爲AI開發者和企業節省大量GPU資源。

YaFSDP（Yandex Full Sharded Data Parallel）是Yandex在FSDP基礎上的增強版本，專注於優化GPU通信效率和內存使用，消除了LLM訓練過程中的瓶頸。在預訓練、對齊和微調等通信密集型任務中，YaFSDP展現出卓越的性能提升，尤其在訓練參數規模達到300億至700億時表現最爲出色。

AI,人工智能，機器人，2024d9dc94358d8e

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

Yandex高級開發專家、YaFSDP團隊成員Mikhail Khruschev表示:"YaFSDP最適合基於LLaMA架構的廣泛使用開源模型。我們仍在持續優化，擴展其在不同模型架構和參數大小上的多功能性，以期在更廣泛的場景中提升訓練效率。"

據估算，以訓練一個含700億參數模型爲例，採用YaFSDP可節省約150臺GPU的資源，相當於每月節省50萬至150萬美元的算力成本。這一成本節約有望使自主LLM訓練對中小企業和個人開發者更加可行。

與此同時，Yandex還承諾將繼續爲全球AI社區的發展貢獻自身力量，YaFSDP開源即是貫徹這一承諾的體現。此前，該公司已對外分享過多個備受推崇的開源AI工具，如CatBoost高性能梯度提升庫、AQLM極限模型壓縮算法和Petals模型訓練簡化庫等。

業內分析人士指出，隨着LLM規模的不斷擴大，訓練效率的提升將成爲人工智能發展的關鍵。YaFSDP等技術突破有望幫助AI社區更快地推進大模型研究，挖掘其在自然語言處理、計算機視覺等領域的應用前景。