DeepSeek 开源内部推理框架 DeepInfer：首个公开原生推理框架的头部大模型企业

10月20日，DeepSeek 宣布同时开源内部推理框架 DeepInfer 和生产级 Token 编解码组件 deepseek-recipe——全球头部大模型企业中首个公开原生实际运行推理框架的项目。

核心数据：DeepInfer 已在 DeepSeek V4.1 Flash 大规模推理服务中实际使用，单集群每天可支撑 155 万亿 Token 服务吞吐，平均首字延迟仅 400 毫秒，生成速度 230 tokens/秒（代码场景 300），输入缓存命中率 96%。

技术亮点：分布式推理与负载均衡、推测解码（DSpark + 置信度验证，线上吞吐 +6%）、SWA Bounded Replay；同时兼容英伟达 GPU 与华为昇腾 NPU。

此前 DeepSeek 已陆续开源大模型、TileLang 编译工具及推理算子库，此次把部署环节的"中间层"也放了出来，国产大模型的开源拼图又补上一块。

原文链接：点击查看原文，正文为摘要整理，仅供参考。