研究者らが大規模言語モデルの省電力トレーニング方法を発見、消費電力を30％削減

最近、ミシガン大学による新たな研究で、大規模言語モデルのトレーニングにおける省電力手法が発見されました。この手法は、同じ時間でトレーニングを完了させながら、エネルギー消費量を30%削減できることが分かりました。この省電力効果は、2026年までに110万世帯の米国家庭への電力供給に相当するエネルギー節約につながります。

研究者らは、Perseusというソフトウェアツールを開発しました。これは、最も時間がかかる一連のサブタスクであるクリティカルパスを特定します。そして、Perseusはクリティカルパス以外のプロセッサ速度を低下させることで、すべてのタスクが同時に完了し、不要な電力消費を排除します。

研究チームは、GPT-3、その他3つの大規模言語モデル、そして1つのコンピュータビジョンモデルを用いてPerseusをテストしました。その結果、PerseusはAIトレーニングのエネルギー消費量を削減しつつ、トレーニング速度を維持できることが示されました。

研究者らは、この省電力手法はAIの公平な利用に重要であると述べています。十分な電力がない国では、遠隔サービスを利用する必要が生じたり、より小さく精度が低いモデルしか運用できない可能性があります。このような格差は、異なるコミュニティ間の不平等をさらに拡大する可能性があります。

この研究は、AIトレーニング手法を最適化することで、エネルギー消費量を削減しつつ、トレーニング速度を維持できることを示しています。これは、省エネルギーと炭素排出量の削減に大きな意味を持ちます。