大語言模型（LLM）的推理性能瓶頸正在被新技術打破。近日，Moonshot AI（月之暗面）與清華大學研究團隊聯合提出了一種名爲**預填充即服務（PrfaaS）**的新型架構。該研究旨在通過優化算力資源分配，解決大模型服務在數據中心部署時面臨的硬件限制，顯著提升了推理效率。

image.png

技術突破:預填充與解碼的“手術刀式”分離

目前，大語言模型的推理過程主要分爲兩個差異化的階段:

  • 預填充階段（Prefill）: 屬於計算密集型，負責處理輸入並生成鍵值緩存（KVCache）。

  • 解碼階段（Decode）: 屬於內存帶寬密集型，負責逐字生成輸出。

在傳統的服務架構中，這兩個階段通常被擠在同一個數據中心甚至同一臺服務器內處理。由於兩者對硬件資源的需求截然不同，這種“強行捆綁”往往導致計算資源與帶寬之間的分配失衡，進而引發服務擁堵。

核心創新:跨地域的高效協同

PrfaaS架構的核心亮點在於實現了解耦式服務。它將高計算密集的預填充任務卸載到專門的高計算集羣上。任務完成後，系統利用通用的以太網技術，將生成的KVCache遠程傳輸至本地解碼集羣。

這種設計打破了物理空間的限制，使得預填充和解碼可以在不同的數據中心同步進行。爲了確保傳輸的高效性，PrfaaS引入了雙時間尺度調度機制。該機制能根據實時流量波動靈活分配資源，配合精確的路由機制，確保長文本請求在傳輸過程中不會因資源不均而產生延遲。

實測表現:吞吐量與延遲的雙重優化

研究數據顯示，PrfaaS架構在實際應用中表現驚人:

  1. 服務吞吐量提升了54%，大幅增強了單位時間內處理請求的能力。

  2. 顯著降低了響應延遲，用戶端感受到的首字生成速度更快。

  3. 資源利用率最大化，通過分離計算、網絡和存儲子系統，規避了傳統架構中的擁堵頑疾。

此次Moonshot AI與清華大學的合作，不僅爲大規模AI推演提供了新的工程思路，也爲未來跨地域算力網絡的構建奠定了技術基礎。這種“預填充即服務”的模式，或許將成爲大模型邁向工業化應用的重要分水嶺。