DeepSeek 當日官宣,在先後放出一系列大模型、TileLang 編譯工具與推理算子庫之後,進一步把自家的內部推理框架 DeepInfer 全盤開源。這家公司想補上的,是一個長期躲在聚光燈之外的環節——推理框架。
在 DeepSeek 的定義裏,模型的能力上限由模型本身決定,但"怎樣以合理成本把超大規模模型供出去",靠的是這層中間架構。訓練讓模型學有所成,推理才讓它爲人所用。當海量用戶同時調用,推理框架負責統籌調度龐雜的算力集羣,其效率高低,直接撬動着 AI 服務的算力開銷與耗電——它既不像模型權重那樣吸睛,卻是把實驗室能力搬進現實的關鍵閘口。
開源不只給代碼,更要壓低用 AI 的價碼
DeepSeek 的意圖很明確:把內部部署經驗攤開,幫開發者與企業組織把大規模推理的吞吐量與延遲優化上去,從而更高效地搭建私有化或公有云部署,壓低算力成本、少燒電。一句話,讓智能以更便宜的價格觸達更多人,兌現"真正的大模型普惠"。
這套框架並非空談。基於 DeepInfer,DeepSeek 官方已跑通 DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務;往後新模型的推理代碼與後續調優,也將持續在這裏更新。從公開的能力清單看,DeepInfer 集成了高性能算子與深度優化的推理引擎,支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等特性,並且同時兼容英偉達與華爲昇騰兩大平臺——在出口管制倒逼國產替代的當下,這種"雙棧通吃"的適配,對國內開發者尤其實在。
與框架同步開源的,還有 deepseek-recipe 這一生產級 Token 編解碼組件,處理邏輯與 DeepSeek 官方 API 完整對齊,確保社區拿到的體驗與官方部署如出一轍。兩份代碼已分別託管於 GitHub 的 deepseek-ai/DeepInfer 與 deepseek-ai/deepseek-recipe。
從模型到算子庫再到推理框架,DeepSeek 正把"造模型"的全套手藝往開源社區裏搬。當算力成本成了 AI 普及的最大門檻,把效率內核交出去,或許比單純放出幾個權重更能撬動生態——畢竟誰能幫行業把每一度電、每一張卡榨出更高產出,誰就握住了普惠敘事裏的真正籌碼。
VIP會員