ティックトックのシードチームが最新の研究論文で、大規模言語モデルが超長テキストを処理する際のパフォーマンスの変動に関する技術的な原因を明らかにしました。研究チームは、この現象が主に「位相感度」と呼ばれるブロックKVキャッシュ圧縮技術によって引き起こされていると指摘しています。

重要なメカニズムが検索バイアスを引き起こす

この技術は、長文の推論時にメモリ消費を抑えるために、固定されたステップ幅で連続したトークンウィンドウをより少ない項目に圧縮します。しかし、この圧縮メカニズムにより、新しい位置座標、つまり「位相」として知られる、トークンが圧縮ウィンドウの境界に対してどの位置にあるかという情報が導入されます。

実験の結果、同じ情報に対して異なる位相になると、検索の難易度が大きく変化することがわかりました。一部の大規模オープンソースモデルでは、このような位相差によって長文検索の正確性の差が最大で40ポイントも生じる場合があります。

image.png

周期的な弱点は改善が必要

この発見は、従来の平均基準テストの限界を明らかにし、一部のモデルが見せた高い平均スコアの裏には、深刻な周期的な弱点が隠れている可能性があることを示しています。長文大規模モデルの応用が広がる中、この研究成果は今後のモデル構造の最適化や長文の推論の安定性向上にとって重要な理論的根拠となります。