最近、Nous Researchの研究チームが、テクノロジー業界に大きな朗報をもたらしました。彼らはDisTrO（分散型インターネットトレーニング）と呼ばれる新しい最適化ツールを開発したのです。この技術の誕生は、強力なAIモデルが巨大企業だけの専売特許ではなく、一般の人々も自宅のパソコンで効率的にトレーニングできる時代が来たことを意味します。

DisTrOの驚くべき点は、AIモデルのトレーニング中に複数のGPU（グラフィック処理ユニット）間でやり取りされるデータ量を大幅に削減できることです。この革新的な技術により、通常のインターネット環境下でも強力なAIモデルのトレーニングが可能になり、世界中の人々や組織が協力してAI技術を共同開発できるようになります。

image.png

Nous Researchの技術論文によると、DisTrOは驚異的な効率向上を実現しています。一般的なアルゴリズムであるAll-Reduceと比較して、トレーニング効率は857倍向上し、トレーニングステップごとに必要なデータ転送量は74.4GBから86.8MBに削減されました。この向上は、トレーニングをより高速かつ低コストにするだけでなく、より多くの人々がこの分野に参加できる機会を創出します。

Nous Researchはソーシャルメディアで、DisTrOによって研究者や組織は特定の企業にトレーニングプロセスを管理・制御される必要がなくなり、より自由に革新と実験を進められるようになったと述べています。このようなオープンな競争環境は、技術の進歩を促進し、最終的には社会全体に恩恵をもたらすでしょう。

AIトレーニングでは、ハードウェアの要求が非常に高く、特に高性能なNvidia GPUは現在ますます希少で高価になっており、資金力のある企業しかトレーニングの負担を負うことができません。しかし、Nous Researchの理念は正反対です。彼らは低コストでAIモデルのトレーニングを一般公開し、より多くの人々が参加できるようにすることを目指しています。

DisTrOの動作原理は、GPU間の全勾配同期が必要なくなることで、通信オーバーヘッドを4～5桁削減することです。この革新により、速度の遅いインターネット接続でもAIモデルのトレーニングが可能になり、現在多くの家庭で利用可能な100Mbpsのダウンロード速度と10Mbpsのアップロード速度で十分です。

MetaのLlama2大規模言語モデルを用いた予備テストでは、DisTrOは従来の方法と同等のトレーニング効果を示しながら、必要な通信量を大幅に削減しました。研究者たちは、現時点では比較的小規模なモデルでのテストにとどまっているものの、モデル規模が大きくなるにつれて通信量の削減効果はさらに顕著になり、1000～3000倍に達する可能性があると推測しています。

注目すべきは、DisTrOによりトレーニングがより柔軟になったとしても、GPUのサポートは依然として必要ですが、これらのGPUは同じ場所に集まっている必要はなく、世界中に分散して、通常のインターネットを介して連携できるようになったことです。32個のH100 GPUを用いた厳格なテストでは、従来のAdamW+All-Reduce法と同等の収束速度を達成しながら、通信要求を大幅に削減できることが確認されました。

DisTrOは大規模言語モデルだけでなく、画像生成モデルなどの他のタイプのAIのトレーニングにも適用できる可能性があり、将来の応用範囲は期待に満ちています。さらに、トレーニング効率の向上により、DisTrOはAIトレーニングによる環境への影響を軽減することもできます。これは、既存のインフラストラクチャの使用を最適化し、大規模データセンターへの依存を低減するためです。

DisTrOを通じて、Nous ResearchはAIトレーニングの技術進歩を促進するだけでなく、よりオープンで柔軟な研究エコシステムを構築し、将来のAI発展に無限の可能性を切り開きました。

参考文献:https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/