最近大語言模型（LLM）發展迅猛，其中Transformer模型功不可沒。Transformer的核心是注意力機制，它像一個信息過濾器，讓模型關注句子中最重要的部分。但即使是強大的Transformer，也會被無關信息干擾，就好比你在圖書館想找本書，結果被一堆無關的書淹沒，效率自然低下。

這種注意力機制產生的無關信息，在論文中被稱爲注意力噪音。想象一下，你想在文件中找一個關鍵信息，結果Transformer模型的注意力卻分散到各種無關的地方，就像一個近視眼，看不清重點。

image.png

爲了解決這個問題，這篇論文提出了Differential Transformer （DIFF Transformer）。這個名字很高級，但原理其實很簡單，就像降噪耳機一樣，通過兩個信號的差異來消除噪音。

Differential Transformer 的核心是差分注意力機制。它把查詢和鍵向量分成兩組，分別計算兩個注意力圖，再將這兩個圖相減，得到最終的注意力分數。這個過程就像用兩臺相機分別拍攝同一個物體，然後將兩張照片疊加，差異的地方就會凸顯出來。

image.png

通過這種方式，Differential Transformer 能夠有效地消除注意力噪音，讓模型更加專注於關鍵信息。就好比你戴上降噪耳機，周圍的噪音消失了，你就能更清晰地聽到想要的聲音。

論文中進行了一系列實驗，證明了Differential Transformer 的優越性。首先，它在語言建模方面表現出色，只需要Transformer65% 的模型大小或訓練數據，就能達到類似的效果。

image.png

其次，Differential Transformer 在長文本建模方面也更勝一籌，能夠有效地利用更長的上下文信息。

更重要的是，Differential Transformer 在關鍵信息檢索、減少模型幻覺和上下文學習方面表現出顯著優勢。

image.png

在關鍵信息檢索方面，Differential Transformer 就像一個精準的搜索引擎，能夠在海量信息中準確地找到你想要的內容，即使是在信息極其複雜的場景下，也能保持高準確率。

在減少模型幻覺方面，Differential Transformer 能夠有效地避免模型“胡說八道”，生成更準確、更可靠的文本摘要和問答結果。

在上下文學習方面，Differential Transformer 更像是學霸，能夠快速地從少量樣本中學習新知識，而且學習效果也更加穩定，不像Transformer那樣容易受到樣本順序的影響。

此外，Differential Transformer 還能有效地降低模型激活值中的異常值，這意味着它對模型量化更友好，可以實現更低比特的量化，從而提高模型的效率。

總而言之，Differential Transformer 通過差分注意力機制有效地解決了Transformer模型的注意力噪音問題，並在多個方面取得了顯著的改進。它爲大語言模型的發展提供了新的思路，未來將會在更多領域發揮重要作用。 

論文地址：https://arxiv.org/pdf/2410.05258