人工智能推理效率的瓶頸,正在迎來新的技術突破。6月28日,北京大學與深度求索(DeepSeek)正式宣佈聯合推出並開源大模型推理加速框架——DSpark,旨在解決大語言模型在高併發推理場景下,因頻繁執行前向計算而導致的響應延遲與算力浪費難題。
在大語言模型的標準自迴歸生成流程中,系統每輸出一個詞元都需要消耗完整的算力資源,這直接限制了對話的實時響應速度。雖然推測解碼是目前行業的主流提速手段,但傳統方案存在明顯短板:簡單模型串行生成耗時較長,而並行模型在處理長序列文本時,往往會出現候選接受率下降的問題,導致大量算力被無效消耗。

針對這些痛點,DSpark 創新性地引入了雙重優化機制。在候選生成階段,它採用半自迴歸架構,通過並行主幹網絡一次性輸出高質量的基礎特徵,並輔以輕量化模塊優化文本邏輯,僅需兩層 Transformer 結構即可達到優於五層並行模型的表現,在速度與質量之間取得了巧妙平衡。在驗證調度層面,框架引入了置信度調度驗證機制,由硬件感知前綴調度器實時判斷算力負載,優先處理可靠性高的文本片段,從而最大程度減少無效計算。
經通義千問3、Gemma4等主流模型在代碼編寫、數學推理及日常對話等多場景下的嚴格測試,DSpark 的表現十分亮眼。相較於 Eagle3和 DFlash 兩類行業主流基線模型,其單輪有效生成長度具備明顯優勢,尤其在長序列生成任務中,有效緩解了候選有效率衰減的難題。
工程化落地層面,研發團隊進行了深度系統級優化,包括採用序列打包降低內存消耗、設計異步調度模式消除 GPU 流水線卡頓,並確保了對主流 CUDA 硬件生態的兼容。目前,DSpark 已率先落地於 DeepSeek-V4-Flash 與 DeepSeek-V4-Pro 預覽版服務引擎。實測數據顯示,無論在何種響應速度標準下,系統整體吞吐量均實現了跨越式增長。
據悉,深度求索已在 GitHub
