Meta 推出 CATransformers 框架 助力AI行業實現減排目標

在人工智能迅猛發展的今天，Meta 的 FAIR 團隊與佐治亞理工學院聯合研發了一款名爲 CATransformers 的全新框架。該框架以降低碳排放爲核心設計理念，旨在通過優化模型架構與硬件性能，顯著減少 AI 技術在運營中的碳足跡，爲可持續的 AI 發展奠定基礎。

隨着機器學習技術在各個領域的廣泛應用，從推薦系統到自動駕駛，其背後的計算需求不斷增加。然而，這些技術的高能耗問題也日益突出。傳統的 AI 系統通常需要強大的計算資源，並依賴於定製硬件加速器來運行，這不僅在訓練和推理階段消耗大量能源，還導致運營過程中產生較高的碳排放。此外，硬件的整個生命週期，包括從製造到報廢，也會釋放 “隱含碳”，進一步加重了生態負擔。

當前的減排策略多集中在提升運營效率上，比如優化能耗和提高硬件利用率，但這往往忽視了硬件設計及製造過程中的碳排放。爲了應對這一挑戰，CATransformers 框架應運而生。它通過多目標貝葉斯優化引擎，綜合評估模型架構和硬件加速器的性能，以實現延遲、能耗、精度和總碳足跡之間的平衡。

CATransformers 特別針對邊緣推理設備進行了優化，通過對大型 CLIP 模型的剪枝，生成了一些碳排放更低但性能優異的變體。例如，CarbonCLIP-S 與 TinyCLIP-39M 在精度上相當，但碳排放減少了17%，延遲保持在15毫秒以內。而 CarbonCLIP-XS 的精度比 TinyCLIP-8M 提升了8%，同時減少了3% 的碳排放，延遲則低於10毫秒。

研究結果表明，單純優化延遲的設計可能導致隱含碳增加高達2.4倍。而如果綜合考慮碳排放與延遲的設計策略，則可以實現19% 到20% 的總排放削減，且延遲損失微乎其微。CATransformers 的引入爲可持續機器學習系統設計提供了堅實的基礎，展示了從一開始就考慮硬件能力與碳影響的 AI 開發模式能夠實現性能與可持續性的雙贏。

隨着 AI 技術的不斷髮展，CATransformers 將爲行業提供一條切實可行的減排路徑，助力實現綠色科技的未來。