世界中で最も注目を集めるAIカンファレンスであるNeurIPS 2025の受賞論文が今夜発表され、アリババグループの通義千問チームが「Attention Gating Makes Better Foundation Models」という論文で最優秀論文賞を受賞しました。この論文は4本の受賞論文の中で唯一の中国チームによるものです。今回のカンファレンスには2万編の論文が投稿され、採択率はわずか25%にとどまり、競争の激しさは歴史的な高水準となりました。

この論文の核となるのは「スライディングドア」のような仕組みです。標準的なアテンションの後に学習可能なゲートを追加し、リアルタイムでどのヘッドやトークンが後続の計算に参加するかを決定します。実験の結果、17億パラメータの密なモデルと150億パラメータのMoEモデルを3.5テラトークンで訓練した結果、**パラメータ数はわずか1%しか増えておらず、混乱度（Perplexity）は0.2下がり、MMLUスコアは2点上昇**し、Pileの各サブドメインでも一貫して向上しました。チームは、ゲートがアテンションの「保安検査」に相当すると説明しています。不要な情報はFFNの前に遮断され、計算効率とロバスト性が同時に向上します。

この仕組みは、近日中にリリース予定のQwen3-Nextに搭載される予定です。アリババは同時にコードと17億パラメータの実験モデルもGitHubにオープンソース化し、コミュニティによる再検証を可能にしています。通義千問は、今後の計画として、このゲートのアイデアをマルチモーダルおよび長文処理に拡張し、「自分自身でフィルタリングを行うアテンション」を次の世代の大規模モデルの標準的なコンポーネントにする予定です。