最近、MetaのFAIRチームはジョージア工科大学と協力し、AIシステム設計におけるカーボンフットプリントを核心的な考慮要素とするCATransformersフレームワークを開発しました。この新しいフレームワークは、モデルアーキテクチャとハードウェアパフォーマンスを共同最適化することで、AI技術全体の総カーボンフットプリントを大幅に削減し、持続可能なAIの発展に向けて重要な一歩を踏み出しました。

image.png

機械学習技術の急速な普及に伴い、推薦システムから自動運転まで多くの分野での応用が増加していますが、その環境負荷もまた無視できません。多くのAIシステムは膨大な計算リソースを必要とし、しばしばカスタムのハードウェアアクセラレーターに依存しています。トレーニングや推論の段階では、高いエネルギー消費が直ちに運営中の炭素排出量の増加を引き起こします。さらに、ハードウェアは製造から廃棄までのライフサイクル全体で隠れた炭素排出を生じさせるため、環境への負荷はさらに重くなります。

現在のところ、多くの温室効果ガス削減策は主に運用効率の向上に焦点を当てており、例えばトレーニングや推論時のエネルギー消費を最適化するか、ハードウェアの利用効率を高めるものです。しかし、これらの方法はハードウェア設計や製造プロセスで発生する炭素排出にはほとんど注意を払わず、モデル設計とハードウェア効率の間の相互作用を効果的に統合できていません。

CATransformersフレームワークの登場により、この空白が埋められました。複数目的ベイジアン最適化エンジンを使用して、このフレームワークはモデルアーキテクチャとハードウェアアクセラレーターのパフォーマンスを同時に評価し、遅延、エネルギー消費、精度、総炭素排出量のバランスを取ることを目指します。特にエッジ推論デバイスでは、CATransformersは大型CLIPモデルを剪定して変種を生成し、ハードウェア推定ツールを使って炭素排出量とパフォーマンスの関係を分析します。

研究結果によると、CarbonCLIP-SとTinyCLIP-39Mは同等の精度を持っていますが、CarbonCLIP-Sは17%の炭素排出量を削減しており、遅延は15ミリ秒以下に抑えられています。また、CarbonCLIP-XSはTinyCLIP-8Mよりも8%精度が高く、3%の炭素排出量削減を達成し、遅延は10ミリ秒以下です。

注目に値するのは、単独で遅延を最適化するだけでは隠れた炭素排出量が最大で2.4倍増加することがあります。一方で、炭素排出量と遅延の両方を最適化する戦略によって、全体の排出量を19-20%削減でき、遅延の損失は非常に小さいという点です。CATransformersは環境指標を組み込むことで、持続可能な機械学習システムの設計を基礎付けました。AI技術がますます拡大する中で、このフレームワークは業界に実行可能な温室効果ガス削減パスを提供します。

要点:

🌱  Metaとジョージア工科大学は、AIシステムのカーボンフットプリント問題に焦点を当てるCATransformersフレームワークを開発しました。

💡  CATransformersはモデルアーキテクチャとハードウェアパフォーマンスの最適化を通じて、AI技術のカーボンフットプリントを大幅に削減します。

⚡  研究成果は、炭素排出量と遅延の両方を最適化することで19-20%の排出量削減が可能であることを示しています。