ロシアのテクノロジー大手Yandexは先日、独自開発の大規模言語モデル（LLM）トレーニング最適化手法であるYaFSDPツールをグローバルなAIコミュニティにオープンソースとして公開しました。これは、現在業界で最も効率的な手法と言われています。広く使用されているFSDP技術と比較して、YaFSDPはLLMトレーニング速度を最大26％向上させることができ、AI開発者や企業は大量のGPUリソースを節約できる見込みです。

YaFSDP（Yandex Full Sharded Data Parallel）は、FSDPをベースに強化されたバージョンで、GPU通信効率とメモリ使用率の最適化に重点を置いており、LLMトレーニングにおけるボトルネックを解消します。事前トレーニング、アライメント、ファインチューニングなど、通信負荷の高いタスクにおいて、YaFSDPは卓越した性能向上を示し、特にパラメータ規模が300億～700億に達する場合にその効果は顕著です。

AI、人工知能、ロボット、2024d9dc94358d8e

画像出典：AI生成画像、画像ライセンス提供元Midjourney

Yandexの上級開発スペシャリストでYaFSDPチームメンバーのMikhail Khruschev氏は次のように述べています。「YaFSDPは、LLaMAアーキテクチャに基づく広く使用されているオープンソースモデルに最適です。私たちは継続的な最適化を行い、様々なモデルアーキテクチャやパラメータサイズでの多機能性を拡張することで、より幅広い場面でのトレーニング効率向上を目指しています。」

推定によると、700億パラメータのモデルをトレーニングする場合、YaFSDPを使用することで約150台のGPUリソースを節約でき、これは月額50万～150万ドルの計算コストの削減に相当します。このコスト削減により、中小企業や個人開発者にとって、独自のLLMトレーニングがより現実的なものになるでしょう。

同時に、YandexはグローバルなAIコミュニティの発展に貢献し続けることを約束しており、YaFSDPのオープンソース化はその約束を実行に移したものです。これまでに、同社はCatBoost高性能勾配ブースティングライブラリ、AQLM極限モデル圧縮アルゴリズム、Petalsモデルトレーニング簡素化ライブラリなど、多くの高く評価されているオープンソースAIツールを公開しています。

業界アナリストは、LLMの規模が拡大するにつれて、トレーニング効率の向上が人工知能の発展の鍵となると指摘しています。YaFSDPなどの技術的ブレークスルーは、AIコミュニティがより迅速に大規模モデルの研究を進め、自然言語処理やコンピュータービジョンなどの分野における応用可能性を探求するのに役立つでしょう。