谷歌TransNAR模型：將Transformer與NAR相結合

谷歌的研究人員近日推出了一項全新的模型，名爲 TransNAR，將 Transformer 和神經算法推理（NAR）相結合，實現了在算法任務上的優異表現。

傳統的 Transformer 在算法推理方面存在缺陷，而 NAR 在處理結構化數據上表現出色，具有強大的泛化能力。通過跨注意力機制，TransNAR 將 Transformer 和 NAR 深度融合，使得模型能夠同時處理文本形式的算法問題描述和圖表示，實現了更優越的算法推理能力。

TransNAR 的訓練策略也十分獨特，採用多層級訓練方法。在預訓練階段，NAR 獨立訓練，通過執行多種算法任務來學習內在邏輯和計算步驟。而在微調階段，TransNAR 接受文本描述和圖表示的雙重輸入，利用預訓練的 NAR 提供的節點嵌入信息，通過跨注意力機制來調節自身標記嵌入。

這一過程使得 TransNAR 在算法任務上的表現遠超基線 Transformer 模型，尤其在分佈外的泛化能力上有着顯著優勢，TransNAR展現出了超過20%的優化改進。

劃重點:

⭐ 谷歌推出 TransNAR 模型，將 Transformer 與 NAR 相結合，提升算法推理能力

⭐ TransNAR 採用跨注意力機制，深度融合 Transformer 和 NAR，在文本和圖表示上表現優異

⭐ 多層級訓練策略使 TransNAR 在算法任務上明顯優於基線 Transformer，尤其在泛化能力方面表現出色