MIT 的研究團隊近日發佈了一項創新的計算方法，旨在提高大型語言模型（LLM）的運算效率，同時降低能源消耗。這項名爲實例自適應縮放的技術，可以根據提問的複雜程度調整計算資源。研究小組的相關論文於11月初發布，得到了 MIT-IBM 沃森人工智能實驗室、MIT-Amazon 科學中心、MIT-Google 計算創新項目以及 MathWorks 的支持。

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

傳統的大型語言模型在處理問題時，往往會使用固定的推理過程獎勵模型（PRMs），這使得它們在面對不同複雜度的問題時，計算資源利用率不高，且常常高估成功的概率。MIT 的研究人員通過重新設計 PRMs，使其能夠根據不同的問題動態調整推理軌跡的數量。這樣，簡單的問題可以使用較少的計算資源，而複雜的問題則可以獲得更多的推理支持。

研究人員指出，人的思維過程往往是通過分解複雜問題、逐步推理和不斷修正來進行的，而 LLM 也同樣能從這一過程中獲益，能夠在推理時獲得更多的 “思考” 時間。研究顯示，採用這種新方法後，計算資源的使用量減少了一半，同時依然能夠提供與現有模型相媲美的準確回答。此外，經過重新校準的 PRMs 也爲較小的 LLM 提升了性能。

鑑於這一技術的成功，MIT 團隊表示他們將進一步探索該方法在其他應用中的表現，如代碼生成和人工智能代理，並計劃探索 PRM 校準方法在強化學習等領域的更多應用。

劃重點:  

💡 研究團隊提出的實例自適應縮放技術可以根據問題複雜性動態調整 LLM 的計算資源。  

🔍 通過重新設計的推理過程獎勵模型，計算資源的利用效率大幅提高，簡單問題減少計算，複雜問題獲得更多支持。  

⚙️ 研究成果顯示，該方法能將計算量減半，同時保持相似的準確性，未來將探索其在其他領域的應用潛力。