大模型服務的主戰場，正在從單輪聊天轉移到檢索增強問答、多文檔摘要和長程Agent。這類新負載有一個共同特徵:一條請求的prompt往往由幾十到上百個語義獨立的片段拼接而成，檢索到的文檔、技能說明、記憶文件、歷史輪次被一股腦組裝成數萬乃至數十萬token的超長上下文。在這個長度下，預填充（prefill）階段主導了單請求的算力開銷，成爲服務商最顯眼的成本來源;更棘手的是，一旦發生緩存未命中，尾部首token延遲(TTFT)能衝到數十秒，直接砸壞交互體驗。

image.png

業界爲此發展出兩條降本路線。一條是位置無關緩存（PIC），它放開嚴格的前綴約束，讓每個語義獨立的片段只緩存一次、並能拼接到任意前綴之後，剛好貼合RAG與Agent的prompt組裝方式，其本質可歸結爲沿token軸直接拼接的splice、以及重算少量token恢復跨段上下文的correction兩個原語。另一條是混合注意力模型，用線性注意力替換大部分全注意力層，把注意力的二次複雜度壓到線性，並將無界的歷史壓縮成固定大小的循環狀態。近來的生產模型如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear，普遍把75%以上的層線性化、保留少量全注意力層，形成混合注意力的主流設計，以Qwen3.5-35B-A3B爲例，40層裏有30層是線性層。

矛盾恰恰出在這裏:現有PIC操作的是逐token的KV緩存，而線性注意力層只向外暴露一個per-request的循環狀態，沒有任何逐token的抓手可供splice或correction。結果是，混合模型裏的大部分層都落在了現有PIC的能力範圍之外。在此之前，沒有任何系統能爲混合注意力大模型提供位置無關緩存。

image.png

小紅書大模型推理團隊聯合北京大學、上海交通大學提出的HYPIC，是首個在混合注意力大模型上實現PIC的服務系統。它在4個生產級混合注意力模型、5個工作負載上的測試顯示:首token延遲平均降低3.25倍，同SLO下可持續QPS提升1.66倍，而任務質量與完全重算僅相差1.71分。這套系統的核心思想，是對混合注意力模型裏的線性層和全注意力層分而治之，再用一層系統級並行把冷請求也一併加速，由三個環環相扣的機制構成。

對線性層，HYPIC緩存的是"轉移算子"，實現常數時間的狀態組合。最直接的PIC稻草人方案，是把兩段各自的零初值末狀態直接相加——這在樸素線性注意力下恰好成立，但在帶衰減、門控、delta擦除的進階線性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等）下會失效。真正被漏掉的關鍵量是一個段累積轉移算子T_C，即一段內所有token轉移矩陣的連乘;真實的末狀態應爲S(C1·C2)=T(C2)·S(C1)+S(C2)，樸素相加恰恰丟掉了T(C2)這一項，造成結構性誤差，實測RetNet慢衰減頭在256token時誤差已達狀態範數的22%。HYPIC的關鍵洞察是，T_C和零初值末狀態S(C|0)都只由片段內部的token決定、與前綴無關，因此它在片段首次prefill時把二元組(T_C， S(C|0))一併緩存，複用時按組合律左乘T_C再相加，即可在常數時間內近乎精確地還原任意前綴下的末狀態，且天然覆蓋全部線性注意力家族。實測在Qwen3.5-35B-A3B上，組合後的狀態在第0層與完全重算僅相差6×10⁻⁵，落在FP16噪聲之內。針對帶因果卷積、帶RoPE的變體，HYPIC分別用卷積狀態熱身和狀態重旋轉兩個補丁做了嚴格對齊。

對全注意力層，HYPIC用"縫合窗口"修復跨段注意力。混合模型中少數的全注意力層仍需要PIC，但以往的選擇性重算無法直接遷移，因爲下方的線性層只保留末狀態，非末尾token無法向上穿過全注意力層。兩種退路——逐token存循環狀態、或從零重新遞推——在存儲或算力上都不可接受。團隊的觀察是，KV拼接後的偏差高度集中在每個複用片段的開頭，其餘部分幾乎不受影響，這與全注意力模型裏的attention sink現象一致，在混合注意力模型裏同樣成立。據此，HYPIC爲每個內部片段開頭w個token構造一個縫合窗口，緩存時這幾個token不入緩存，複用時在完整前綴下重算以修復跨段注意力，默認w=8;由於實際片段長度通常大於512token，縫合窗口只佔極小一部分，重算開銷可控。爲了支持段首KV重算，線性注意力層在複用時需即時算出縫合窗口自身的T和S，一邊推進running state，一邊把每個seam token的逐層輸出前傳給上層的全注意力層。

第三塊拼圖是段並行，它把"長冷請求"也變成了可加速的負載。緩存未命中不可避免——語料持續更新、低頻文檔被淘汰，而長冷請求正是尾延遲的主因。現有系統仍把整條prompt當作一個整體、在單實例上串行prefill所有冷片段，TTFT隨O（n·|C|）增長;張量並行等實例內並行雖能加速單次前向，但擴展性有限，一條100k token請求在TP-8下仍需17.7秒。但PIC已經讓每個片段自包含——其prefill結果只由內部token決定。HYPIC順勢提出實例間的段並行:Router探測每段命中狀態，把冷片段並行分發給多個scatter worker，再由一個combine worker把各段結果組裝成完整運行狀態，把冷prefill從O(n·|C|)降到O(⌈n/m⌉·|C|+c)。爲了把這條路徑跑滿，HYPIC用LPT(最長處理時間優先)貪心策略均衡各worker負載，並把每段的計算與傳輸流水線重疊，避免combine worker被同步的傳輸突發拖住;段並行與實例內並行(TP/DP/SP)作用在正交的軸上，可無縫疊加。

這套系統已在SGLang上實現，約14k行Python與Triton代碼，在8×H20節點上，選取4個生產級混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4個公開數據集(HotpotQA、TriviaQA、MultiNews、GovReport)與1條生產RAG trace完成評測。全量預熱後，HYPIC相比Prefix Cache將p50TTFT平均降低3.25倍(各模型2.77×至4.05×)，而質量幾乎無損——16個"模型×數據集"單元平均只落後完全重算1.71分，在Qwen3.5-35B上甚至反超0.47分;作爲對照，不緩存轉移算子的樸素相加直接損失了66.9%的分數，印證了T_C的必要性。在生產RAG trace上，同1秒TTFT SLO下，HYPIC把可持續QPS相比Prefix Cache提升1.66倍(1.49×至1.85×)，峯值單卡吞吐提升約1.3至1.5倍。在純冷未命中路徑上，一條32k token請求的TTFT從單worker的2.83秒降到8worker的0.49秒，達到5.7倍加速，且幾乎全部收益來自可近線性擴展的scatter階段;面對不均勻分片，LPT相比Round-Robin把TTFT從1.26秒壓到0.84秒(3.6×對2.4×)。開銷同樣可控:構造(T_C， S(C|0))的一次性開銷，在最重的稠密轉移模型上也僅爲主前向的5.2%至6.7%，一次構造、多次複用即可攤薄。

HYPIC首次把位置無關緩存帶到了混合注意力大模型上:用緩存的段累積轉移算子實現線性層的常數時間狀態組合，用小小的縫合窗口修復全注意力層的跨段對齊，再用段並行把長冷請求變成可加速的負載。它讓RAG與Agent這類長上下文服務，在擁抱高效混合架構的同時，也能享受到片段級緩存複用的紅利。團隊表示，未來將進一步探索分佈式的PIC管理與調度、多級緩存分層管理，推動大模型推理向更快、更省、更可擴展持續演進。