AI 終於要長腦子了？MIT 大牛發現大模型驚現“人腦分區”！

AI 竟然開始“長腦子”了?!麻省理工學院的最新研究表明，大型語言模型（LLM）的內部結構，竟然和人腦有着驚人的相似之處!

這項研究利用稀疏自編碼器技術，對LLM的激活空間進行了深入分析，發現了三個層級的結構特徵，令人驚歎:

首先，在微觀層面上，研究人員發現了類似“晶體”結構的存在。這些“晶體”的面是由平行四邊形或梯形構成，類似於我們熟知的詞彙類比，例如“男人:女人::國王:女王”。

更令人驚訝的是，通過線性判別分析技術去除一些無關的干擾因素（如詞語長度）後，這些“晶體”結構會變得更加清晰。

其次，在中觀層面上，研究人員發現LLM的激活空間存在着類似人腦功能分區的模塊化結構。

例如，與數學和代碼相關的特徵會聚集在一起，形成一個類似於人腦功能葉的“腦葉”。通過多種指標進行量化分析，研究人員證實了這些“腦葉”的空間局部性，表明共同出現的特徵在空間上也更加聚集，遠遠超出了隨機分佈的預期。

在宏觀層面上，研究人員發現LLM特徵點雲的整體結構並非各向同性，而是呈現出一種冪律特徵值分佈，並且這種分佈在中間層最爲明顯。

研究人員還量化分析了不同層級的聚類熵，發現中間層的聚類熵較低，表明特徵表示更加集中，而早期和晚期層的聚類熵較高，表明特徵表示更加分散。

這項研究爲我們理解大型語言模型的內部機制提供了全新的視角，也爲未來開發更強大、更智能的AI系統奠定了基礎。