DeepSeek10月20日宣佈全面開源內部推理框架 DeepInfer，這是繼此前開源系列大模型、TileLang 編譯工具與推理算子庫之後的又一次開放。官方指出，大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模模型服務，還取決於推理框架這一中間層——它統籌調度龐大的算力集羣，其效率直接決定 AI 服務的算力成本與電力消耗。

DeepInfer 集成高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，同時兼容英偉達與華爲昇騰平臺。基於該框架，DeepSeek 已實現 DeepSeek V4.1Flash 的高吞吐、低延遲大規模推理服務，未來新模型的推理代碼及後續優化也將持續在此更新。

配套同步開源的 deepseek-recipe 是生產級 Token 編解碼組件，與 DeepSeek 官方 API 的處理邏輯完整對齊，確保社區獲得與官方部署一致的 API 體驗，兩部分代碼均已在 GitHub 開放，DeepSeek 另在知乎發佈了完整技術報告。

官方表示，開源推理框架的目的一在於幫助開發者與企業組織優化大規模推理的吞吐與延遲，高效構建私有化與公有云部署，從而降低算力成本、減少能源消耗，讓智能以更低價格觸達更廣泛人羣，並將繼續支持社區進行大規模部署優化。模型、算子庫與推理框架的逐層開放，延續了國產大模型以開源生態降低推理門檻、推動智能普惠的行業路徑。

開源倉庫

DeepInfer: https://github.com/deepseek-ai/DeepInfer

deepseek-recipe: https://github.com/

deepseek-ai/deepseek-recipe