DeepSeek 在10月20日官宣，在已經陸續開源一系列大模型、TileLang 編譯工具以及推理算子庫之後，決定再往前邁一步——把自家的內部推理框架 DeepInfer 全面開源。

這家公司點明瞭一個長期被公衆忽視的中間層:大模型的能力上限由模型本身劃定，但如何以合理成本撐起超大規模的模型服務，真正取決於推理框架。訓練讓模型"學有所成"，推理則讓模型"爲人所用"。面對如今海量的用戶調用，推理框架負責統籌調度龐大的算力集羣，它的效率直接決定了 AI 服務的算力成本與電力消耗。

DeepSeek 想通過公開內部的部署經驗，幫開發者與企業組織優化大規模推理的吞吐量與延遲，從而更高效地搭建私有化或公有云部署，壓低算力成本、減少能源消耗，讓智能以更低的價格觸達更廣泛的人羣，實現它口中的"大模型普惠"。

基於 DeepInfer，DeepSeek 官方已經跑通了 DeepSeek V4.1Flash 的高吞吐、低延遲大規模推理服務;往後，新模型的推理代碼和後續優化也會在這個框架裏持續更新。

具體來看，DeepInfer 推理框架集成了高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，並且同時兼容英偉達與華爲昇騰兩套平臺。與之同步開源的，還有 deepseek-recipe 編解碼組件——一個生產級的 Token 編解碼模塊，與 DeepSeek 官方 API 的處理邏輯完整對齊，確保社區拿到的 API 體驗和官方部署保持一致。對想自己搭建推理服務的人來說，這意味着不必再從零摸索，直接站在 DeepSeek 的部署經驗之上。