近日，Meta 的 FAIR 團隊與佐治亞理工學院合作開發了 CATransformers 框架，旨在將碳排放作爲 AI 系統設計的核心考量。這一新框架通過聯合優化模型架構和硬件性能，顯著降低了 AI 技術的總碳足跡，爲實現可持續的 AI 發展邁出了重要的一步。

image.png

隨着機器學習技術的迅速普及，從推薦系統到自動駕駛等多個領域的應用不斷增加，但其帶來的環境代價同樣不容忽視。許多 AI 系統需要大量的計算資源，往往依賴於定製的硬件加速器進行運算。在訓練和推理階段，所需的高能耗直接導致了運營中的碳排放大幅上升。此外，硬件在生產到報廢的整個生命週期中同樣會產生隱含碳，進一步加重了生態負擔。

現有的減排方法大多集中在提升運營效率，比如通過優化訓練和推理的能耗，或是提高硬件的利用率。然而，這些方法往往忽略了硬件設計和製造階段所產生的碳排放，未能有效整合模型設計與硬件效率之間的相互影響。

CATransformers 框架的推出恰好填補了這一空白。通過多目標貝葉斯優化引擎，該框架能夠聯合評估模型架構與硬件加速器的性能，旨在平衡延遲、能耗、精度和總碳足跡。特別是在邊緣推理設備方面，CATransformers 通過剪枝大型 CLIP 模型生成變體，並結合硬件估算工具來分析碳排放與性能之間的關係。

研究顯示，CATransformers 的成果 CarbonCLIP-S 與 TinyCLIP-39M 在精度上相當，但碳排放卻減少了17%，且延遲控制在15毫秒以內。此外，CarbonCLIP-XS 則在比 TinyCLIP-8M 的精度提升8% 的同時，碳排放也降低了3%，延遲低於10毫秒。

值得注意的是，單純優化延遲的設計可能會導致隱含碳增加高達2.4倍，而綜合優化碳排放與延遲的策略能夠實現19-20% 的總排放削減，同時延遲損失極小。CATransformers 通過嵌入環境指標，爲可持續機器學習系統的設計奠定了基礎。隨着 AI 技術的持續擴大，該框架爲行業提供了切實可行的減排路徑。

劃重點:

🌱  Meta 與佐治亞理工學院合作開發 CATransformers 框架，重點關注 AI 系統的碳排放問題。  

💡  CATransformers 通過優化模型架構與硬件性能，顯著降低 AI 技術的碳足跡。  

⚡  研究成果表明，綜合優化碳排放與延遲策略可實現19-20% 的總排放削減。