在AI的世界裏，變革總是在不經意間到來。就在最近，一個名爲TTT的全新架構橫空出世，它由斯坦福、UCSD、UC伯克利和Meta的研究人員共同提出，一夜間顛覆了Transformer和Mamba，爲語言模型帶來了革命性的改變。

TTT，全稱Test-Time-Training layers，是一種全新的架構，它通過梯度下降壓縮上下文，直接替代了傳統的注意力機制。這一方法不僅提高了效率，更解鎖了具有表現力記憶的線性複雜度架構，讓我們能夠在上下文中訓練包含數百萬甚至數十億個token的LLM。

1.jpg

TTT層的提出，是基於對現有RNN和Transformer架構的深刻洞察。RNN雖然效率高，但受限於其表達能力;而Transformer雖然表達能力強，但計算成本隨上下文長度線性增長。TTT層則巧妙地結合了兩者的優點，既保持了線性複雜度，又增強了表達能力。

在實驗中，TTT-Linear和TTT-MLP兩種變體均展現出了卓越的性能，它們在短上下文和長上下文中均超越了Transformer和Mamba。特別是在長上下文的場景下，TTT層的優勢更加明顯，這爲長視頻建模等應用場景提供了巨大的潛力。

2.jpg

TTT層的提出，不僅在理論上具有創新性，更在實際應用中展現出了巨大的潛力。未來，TTT層有望應用於長視頻建模，通過密集採樣幀來提供更豐富的信息，這對於Transformer來說是一種負擔，但對於TTT層來說卻是一種福音。

這項研究是團隊五年磨一劍的成果，從Yu Sun博士的博士後時期就開始醞釀。他們堅持探索，不斷嘗試，最終實現了這一突破性的成果。TTT層的成功，是團隊不懈努力和創新精神的結晶。

TTT層的問世，爲AI領域帶來了新的活力和可能性。它不僅改變了我們對語言模型的認識，更爲未來的AI應用開闢了新的道路。讓我們一起期待TTT層在未來的應用和發展，見證AI技術的進步和突破。

論文地址：https://arxiv.org/abs/2407.04620