近日,密歇根大學的一項新研究發現,一種訓練大型語言模型的省力方法可以在相同的時間內完成,但能耗可降低30%。這種方法可以節省足夠的能源,到2026年爲110萬美國家庭供電。

研究人員開發了一款名爲 Perseus 的軟件工具,通過識別關鍵路徑,即需要最長時間才能完成的一系列子任務。然後,Perseus 會降低非關鍵路徑上的處理器速度,以便它們都能在同一時間完成工作,從而消除不必要的功耗。

機器人AI

該團隊通過訓練 GPT-3、其他三個大型語言模型和一個計算機視覺模型來測試 Perseus。結果表明,Perseus 可以降低 AI 訓練的能耗,同時保持相同的訓練速度。

研究人員表示,這種省力方法對於公平使用人工智能具有重要意義。如果一個國家沒有足夠的電力來運行大型模型,他們可能需要使用遠程服務,或者只能運行較小、準確度較低的模型。這種差距可能會進一步加劇不同社區之間的差距。

該研究表明,通過優化 AI 訓練方法,可以降低能耗,同時保持相同的訓練速度。這對於節省能源和減少碳足跡具有重要意義。