Meta が CATransformers フレームワークを発表 AI業界の排出量削減目標を支援

今日、急速発展を遂げている人工知能の分野において、MetaのFAIRチームとジョージア工科大学は、新しいフレームワーク「CATransformers」を開発しました。このフレームワークは、主に炭素排出量の削減を目的としており、モデルアーキテクチャやハードウェア性能の最適化を通じて、AI技術の運用における環境負荷を大幅に軽減し、持続可能なAIの発展を支える基盤を築きます。

機械学習技術が推薦システムや自動運転など、さまざまな分野で広く活用されるにつれ、その背後にはますます増える計算要件があります。しかし、これらの技術は高いエネルギー消費問題にも直面しています。従来のAIシステムは通常、強力な計算リソースを必要とし、カスタムハードウェアアクセラレーターに依存して動作します。これにより、トレーニングや推論の各段階で多くのエネルギーを消費するだけでなく、運用過程での高い炭素排出量も引き起こしています。さらに、ハードウェアのライフサイクル全体（製造から廃棄まで）も「潜在的な炭素」を放出するため、さらなる生態負荷を増大させています。

現在の削減戦略は、多くの場合、運用効率の向上に焦点を当てています。具体的には、エネルギー使用の最適化やハードウェア利用効率の向上などが含まれますが、これらはしばしばハードウェア設計や製造プロセスにおける炭素排出量を無視しがちです。このような課題に対処するために、「CATransformers」フレームワークが登場しました。このフレームワークは、複数の目標を考慮したベイジアン最適化エンジンを使用し、モデルアーキテクチャとハードウェアアクセラレータのパフォーマンスを総合的に評価することで、遅延、エネルギー消費、精度、そして全体的な炭素排出量のバランスを実現します。

「CATransformers」は特にエッジ推論デバイスに最適化されており、大規模なCLIPモデルを剪定することで、低炭素排出量でありながら高性能のバリエーションを生成しています。例えば、CarbonCLIP-SとTinyCLIP-39Mはほぼ同等の精度を持ちながら、CarbonCLIP-Sでは17%の炭素排出量を削減し、遅延は15ミリ秒以内に抑えられています。また、CarbonCLIP-XSの精度はTinyCLIP-8Mよりも8%向上しており、同時に3%の炭素排出量を削減しながら、遅延は10ミリ秒以下に抑えられています。

研究結果によれば、単に遅延を最適化するだけで潜在的な炭素排出量が最大で2.4倍増加する可能性があることが示されています。しかし、炭素排出量と遅延を併せて考慮した設計方針を採用することで、総排出量を19%から20%削減することが可能であり、遅延への影響はほとんどありません。「CATransformers」の導入により、持続可能な機械学習システムの設計に堅牢な基礎を提供し、最初からハードウェア能力と炭素影響を考慮したAI開発のアプローチが性能と持続可能性の両立を実現することを示しました。

今後AI技術が進化を続けた際、「CATransformers」は業界に具体的な削減パスを提供し、グリーンテクノロジーの未来を実現する手助けをするでしょう。