DeepInfer ： DeepSeek 开源的自家生产级推理框架
AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。
主要介绍
2026 年 10 月 20 日，DeepSeek 把一直藏在幕后的内部推理框架 DeepInfer 整体开源，同时开放生产级编解码组件 deepseek-recipe，协议为 Apache-2.0。这不是一个研究原型，而是支撑 DeepSeek 线上大规模服务的真实引擎——按官方随代码发布的部署问答文档披露，其生产集群单日处理 155 万亿个 Token，平均输入缓存命中率 96%，按谷电价折算单张加速卡每小时可带来 38 美元收入；据公开报道，这也是全球头部大模型企业中首个开放原生实际运行推理框架的案例。本次开源版提供离线推理能力，覆盖规模化服务所需的核心引擎功能：优化计算内核、模型与采样运行时、注意力数据并行与负载均衡上下文并行、混合专家专家并行加 EPLB 负载均衡、DSpark 推测解码、滑动窗口注意力有界重放、零开销异步批调度、批不变推理、确定性采样与结构化输出。硬件上同时支持英伟达 SM100 与华为昇腾 950，目前仅支持 DeepSeek-V4.1-Flash 一款模型（默认检查点为 10 月 17 日发布的 V4.1-Flash-1017）。仓库 10 月 16 日创建，截至 10 月 29 日已获得约 2.4 万星标与近 2,900 次分叉。DeepSeek 官方把开源动机说得很直白：模型的能力边界由模型本身划定，但如何以合理成本提供超大规模服务，取决于一个长期不被公众看见的中间层——推理框架。
deepseek-ai/DeepInfer 仓库官方预览图（GitHub OpenGraph）
功能特点
-
优化内核全家桶：接入 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及仓库内自研的 TileLang 内核，分别承担注意力、矩阵运算、专家通信与选择等算子。
-
多维并行策略：注意力采用数据并行与负载均衡上下文并行；混合专家层采用专家并行并配合 EPLB 专家并行负载均衡——为热门专家保留冗余副本，统计一段时间内的专家负载后定期重排专家与设备的对应关系。
-
DSpark 推测解码：草稿模型一次提议数个候选 Token，再由置信度预测头预估各草稿 Token 的接受率，据此动态决定实际送验证的前缀长度，而不是对所有请求固定验证同样的长度。
-
滑动窗口注意力有界重放：长前缀命中缓存时，不再精确重建解码器状态，而是只重算最近一段 Token 并截断注意力范围，以受限的重算量换取低开销。
-
零开销异步批调度：默认开启，让 CPU 在设备执行当前批次的同时准备下一批并处理更早一轮的结果，把调度工作移出关键等待路径。
-
批不变推理与确定性采样：批不变推理让模型结果不随批次构成变化；配合固定随机种子可做到相同输入与采样参数产出完全一致的输出，服务于生产可复现与回归测试（两项均标注仅英伟达平台可用）。
-
结构化输出：把 JSON Schema、正则表达式或 EBNF 文法转成语法自动机，在每一步采样时屏蔽不合法 Token，使生成结果必然可被解析。
-
双算力平台对等支持：英伟达 SM100 与华为昇腾 950 同列支持清单，构建时通过环境变量切换加速器类型。
优缺点
优点：
-
生产验证而非实验室原型：这是真正在 DeepSeek 线上跑的引擎，官方并公开了单集群日吞吐 155 万亿 Token、输入缓存命中率 96%、谷电单卡每小时收入约 38 美元等生产口径数据，成本结构有据可依。
-
关键优化给出量化收益而非形容词：推测解码在生产负载下估算带来 4% 至 7% 的吞吐提升，滑动窗口注意力有界重放据官方说明可将整体预填充计算量接近减半。
-
把确定性与结构化输出做成一等公民：批不变推理、确定性采样、语法约束解码，直接对应生产环境的可复现、可测试与可集成三件事。
-
国产算力与英伟达并列支持：昇腾 950 不是附带兼容而是与 SM100 同列，对有国产化部署要求的团队价值明显。
-
站在成熟社区基座上：官方致谢明确写出最初主要基于 vLLM 构建，并受 SGLang 与 TensorRT-LLM 启发，生态迁移与二次开发路径清晰；协议为宽松的 Apache-2.0。
缺点：
-
只支持一款模型：目前仅 DeepSeek-V4.1-Flash 可用；更关键的是，因果编码器—解码器结构、压缩稀疏注意力与草稿模块等优化深度绑定该模型的结构条件，换模型意味着重新处理这些执行路径，不是一个通用即插即用引擎。
-
本次开源止步于离线推理：官方明说 KV 缓存系统、视觉编码／预填充／解码分离部署、跨数据并行副本的负载均衡三部分未包含，原因是与内部基础设施紧耦合；要搭建完整在线服务，这三块必须自行补齐。
-
硬件与工具链门槛极高：仅支持英伟达 SM100 与昇腾 950，Hopper 及更早的英伟达架构不在支持之列；软件栈要求 Linux、GCC 十三以上、Python 3.12、CUDA 13 或 CANN 9.2，且需从源码构建；官方描述的高效部署以预填充与解码各数十张卡的规模计，没有下一代加速卡基本无法上手。
-
能力平台不对称：批不变推理与确定性采样两项明确标注仅英伟达平台可用；所有公开性能基准也都在英伟达芯片上完成，数据均为 DeepSeek 自行测算，截至发稿未见第三方独立复现。
-
仓库仍处早期：公开提交记录仅五次、无正式发布版本、待处理问题约 220 个；滑动窗口注意力有界重放得到的是近似状态，属于以精度换开销，官方尚未给出精度影响的量化说明。此外，官方给出的最小高效部署规模为预填充与解码各 64 张卡，中小团队难以照搬。
如何使用
由于本次发布面向的是已有大规模加速卡集群的团队，使用流程可以概括为九个步骤：
-
第一步，准备硬件与系统：英伟达 SM100 或华为昇腾 950 加速卡、Linux 系统、GCC 十三以上、Python 3.12，英伟达平台配 CUDA 13，昇腾平台配 CANN 9.2。
-
第二步，建环境：创建一个干净的 Python 3.12 环境并激活，避免与既有依赖冲突。
-
第三步，指定加速器：在环境中导出加速器类型变量（英伟达或昇腾），该变量在运行 DeepInfer 的整个过程中都要保持。
-
第四步，从源码构建：在仓库根目录执行构建脚本，编译内核与运行时组件。
-
第五步，准备权重：默认检查点为 DeepSeek-V4.1-Flash-1017，首次运行会自动下载到本地模型缓存；离线或已有副本的场景，用环境变量指向本地权重目录即可。
-
第六步，跑通离线推理：执行仓库示例目录中的离线推理脚本，确认安装与设备调度正常。
-
第七步，按需开启特性：变长推测解码验证开关及其最大草稿长度、滑动窗口注意力有界重放模式与保留后缀长度（V4.1 默认保留后缀为一百四十个 Token，需覆盖窗口与推测回退余量）、异步调度（默认已开启）。
-
第八步，配置输出约束与确定性：结构化输出在采样参数中以模式类型加模式内容的形式传入（正则、JSON Schema 或 EBNF 三选一）；需要逐位复现时，在英伟达平台启用批不变推理、关闭变长验证并固定随机种子。
-
第九步，性能复现与补齐服务栈：用示例目录中的扫描脚本复现预填充与解码的吞吐—延迟曲线，注意与仓库基准脚本的统计口径对齐；若要上生产，还需自行实现 KV 缓存系统、预填充与解码分离部署、跨副本负载均衡三部分。
框架技术原理
DeepInfer 的价值在于把「同一批卡怎样服务更多请求」这件事拆成了层层可优化的工程问题。它接管的计算从加载权重开始：把计算分配到设备上、组织批次、维护执行状态、调用矩阵乘与注意力内核，最后按采样规则挑出输出 Token。第一层是模型结构协同：DeepSeek-V4.1-Flash 采用因果编码器—解码器结构，四十层网络分为二十层因果编码器与二十层解码器，解码器的全局键值缓存可由编码器最后的隐藏状态投影得到，因此长输入的主要计算可以集中在编码器侧，每 Token 激活参数量在预填充阶段约 80 亿、解码阶段约 160 亿。第二层是专家并行：每一混合专家层有一个共享专家与三百八十四个路由专家，每个 Token 激活六个；把专家权重打散到更大的设备组，可以减少单设备负责的专家量，来自更多请求的 Token 汇入同一专家又能改善矩阵计算的批量规模，代价是跨设备通信变关键，于是 EPLB 为热门专家保留冗余副本——官方解码配置从每卡一个冗余专家起步，用过去一千步的负载统计，每一万步重排一次专家与设备的映射。第三层是推测解码：草稿模型一次提议五个候选 Token，置信度预测头预估每个 Token 的接受率，系统结合接受率预测与预先测得的硬件吞吐曲线，选择更有价值的前缀送验证，官方数据下平均每步检查的草稿 Token 数减少约三成。第四层是缓存重放：精确重建解码器的滑动窗口注意力状态，需要把最近两千五百六十个 Token 过二十个解码器层，有界重放改为只重算最近一百二十八个 Token 并把注意力范围截断在这段内，得到近似状态，换来预填充计算量接近减半；当块级键值缓存已命中而对应滑动窗口状态缺失时，只需回退并重放前缀末尾一段，已有缓存继续复用。第五层是调度与内核：默认开启的异步调度让设备执行当前步时 CPU 同时准备下一步，推测解码的动态预算也适配这条流水线——CPU 先定总体预算，由设备内核计算各请求的实际验证长度。
创新点
-
把「生产引擎」而非「研究框架」开源：这是头部模型厂商第一次把真正跑在线上的推理栈连同部署问答、性能曲线与生产口径数据一起公开，工程透明度本身即是行业事件。
-
DSpark 的置信度调度改变了推测解码的固定预算惯例：不再对所有请求验证同样长度，而是按预测接受率分配验证预算，把算力从低接受率的位置挪走；官方数据显示收益随并发量变化，六十条并发时约提升百分之五点四，九十六条并发时约百分之十一，十六条并发时反而为负，说明这是一条与硬件工作点强相关的策略。
-
滑动窗口注意力有界重放把「缓存命中」与「状态重算」合成一套机制：既承认精确重建的代价，又给出可控的近似边界，长上下文场景下把预填充成本压到接近一半。
-
把确定性与可复现提升到框架级能力：批不变推理让结果不随批次构成漂移，配合固定种子实现逐位一致，这对灰度发布、回归测试与合规审计是直接可用的。
-
把负载均衡的工程细节写进文档：专家冗余副本数量、统计窗口与重排周期这类通常只存在于内部手册的参数被公开，让外部团队不必从零试错。
-
国产算力与英伟达同列一等公民，使昇腾 950 上的部署不是二等工作流。
评估标准
官方给出的性能与收益数据主要来自仓库性能图、部署问答文档与生产统计，均为 DeepSeek 自测，暂无第三方独立复现：
|
项目
|
测试条件
|
口径
|
官方结果
|
|---|---|---|---|
|
预填充曲线
|
4 张 SM100，专家并行与数据并行各为 4，13 万 Token 级上下文
|
每卡未缓存输入吞吐对单步耗时
|
给出吞吐—延迟取舍曲线，批量增大则吞吐升、单步耗时增
|
|
解码曲线
|
64 张 SM100，专家并行与数据并行各为 64，固定推测步长 3、单草稿接受率按百分之七十五计
|
每卡输出吞吐对单用户生成速度
|
并发越高总吞吐越高、单用户生成速度越低，附各并发点数据
|
|
DSpark 动态验证
|
专家并行与数据并行各为 64，每工作单元 60 条并发序列
|
平均验证长度、平均接受长度、估算吞吐
|
验证长度由 5 降至 3.58、接受长度 3.30 变 3.21，吞吐由 13,730 升至 14,466 Token 每秒每单元，约提升百分之五点四
|
|
滑动窗口注意力有界重放
|
对比精确重建：最近 2,560 个 Token 过二十层解码器
|
预填充计算量
|
改为重算最近 128 个 Token，整体预填充计算量接近减半（得到近似状态）
|
|
生产集群统计
|
DeepSeek 线上单集群，谷电定价口径
|
日吞吐、缓存命中率、单卡收入
|
日处理 155 万亿 Token、平均输入缓存命中率 96%、单卡每小时收入约 38 美元
|
应用领域
-
云厂商与自建集群部署 DeepSeek：用原生推理框架复现接近官方的吞吐与延迟，适合已有 SM100 或昇腾 950 池子的团队做成本优化。
-
推理基础设施工程研究：内核协同、异步调度、专家负载均衡与推测解码调度的完整实现，是学习生产级调度与内核优化的稀缺样本。
-
需要可复现输出的生产系统：批不变推理与确定性采样适合金融、医疗、法务等对结果一致性与审计有要求的场景。
-
结构化数据抽取流水线：正则、JSON Schema 与 EBNF 约束解码可直接用于表单抽取、配置生成、报表填充等必须可解析的下游环节。
-
对专家思维平台类业务的成本启示：模型能力决定上限，推理框架决定单位服务成本；官方披露的九成六输入缓存命中率提示——把专家分身的稳定前置内容做成可复用前缀，是压低边际成本最直接的杠杆。
项目地址
以下是 DeepInfer 的三个官方入口，仓库与配套组件经接口确认存在，文档经直链确认可访问：
-
代码仓库：https://github.com/deepseek-ai/DeepInfer
-
部署问答文档：https://github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md
-
配套编解码组件：https://github.com/deepseek-ai/deepseek-recipe
同类型工具比较
把 DeepInfer 放进推理引擎坐标系，它与社区主流方案的定位差异如下（均为定性描述，非跑分排名）：
|
方案
|
定位
|
模型覆盖
|
硬件支持
|
是否含完整服务栈
|
|---|---|---|---|---|
|
DeepInfer
|
DeepSeek 自研生产引擎，开源版提供离线推理
|
目前仅 DeepSeek-V4.1-Flash
|
英伟达 SM100、华为昇腾 950
|
否，KV 缓存系统、预填充解码分离与跨副本负载均衡需自建
|
|
vLLM
|
社区通用推理与服务引擎，DeepInfer 的原始基座
|
覆盖广泛，社区适配快
|
多代英伟达及其他加速卡
|
是，自带服务与兼容接口
|
|
SGLang
|
通用高性能服务引擎，擅长前缀复用与结构化输出
|
覆盖广泛
|
英伟达为主，逐步扩展
|
是，面向线上服务设计
|
|
TensorRT-LLM
|
英伟达官方编译优化栈，重编译换极致性能
|
主流模型有官方示例
|
英伟达 GPU
|
偏引擎与编译层，服务编排另有组件
|
|
llama.cpp
|
轻量本地推理，面向端侧与单机
|
量化生态广
|
CPU 与消费级显卡即可
|
自带简易服务，定位在轻量而非大规模集群
|
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
AI全网资源导航每日收集国内外热点AI/人工智能/工具/模型/框架以及最新的AI学习资料/课程等，在这个全新的AI时代，助力每一个人，赋能每一个具体业务场景，与所有人一起努力向前！
