耶魯大學研究團隊近日發佈了一項開創性研究成果，揭示了AI模型訓練的關鍵發現:AI學習效果最好的數據並非越簡單或越複雜越好，而是存在一個最佳的複雜度水平——被稱爲"混沌邊緣"的狀態。

研究團隊通過使用基本元胞自動機（ECAs）進行實驗，這是一種簡單的系統，其中每個單元的未來狀態僅取決於自身和相鄰兩個單元的狀態。儘管規則簡單，但這種系統可以產生從簡單到高度複雜的多樣化模式。研究人員隨後評估了這些語言模型在推理任務和國際象棋走子預測等方面的表現。

image.png

研究結果表明，在更復雜ECA規則上訓練的AI模型在後續任務中表現更爲出色。特別是在Wolfram分類中的Class IV類ECAs上訓練的模型，展現出最佳性能。這類規則產生的模式既不完全有序也不完全混沌，而是呈現出一種結構化的複雜性。

研究人員發現，當模型接觸過於簡單的模式時，往往只能學到簡單的解決方案。相比之下，在更復雜模式上訓練的模型即使在有簡單解決方案的情況下，也能發展出更復雜的處理能力。研究團隊推測，這種學習表徵的複雜性是模型能夠將知識遷移到其他任務的關鍵因素。

這一發現可能解釋了爲什麼GPT-3和GPT-4等大型語言模型如此高效。研究人員認爲，這些模型在訓練過程中使用的海量且多樣化的數據，可能創造了類似於他們研究中複雜ECA模式的效果。