在技术的持续演进中，DeepSeek再次为行业注入了新鲜活力。近日，该公司宣布全力开源其内部用于大规模云服务的推理框架——DeepInfer，以及其生产级的token编解码组件deepseek-recipe。DeepInfer框架通过集成高效的算法和深度优化的推理引擎，赋予了系统分布式推理、推测解码、SWA Bounded Replay和结构化输出等众多技能，具备在英伟达和华为昇腾平台上运行的强大兼容性。
DeepSeek团队透露，基于DeepInfer框架开发的DeepSeek V4.1 Flash，展示了其在高吞吐量和低延迟方面的卓越性能。在当前的运营模式中，单一集群的服务吞吐量高达每日155万亿Tokens，按谷价计算的整体收入可达每卡每小时38美元（约合人民币253.81元）。这便意味着，若一张卡保持24小时的满负荷运行，其每日收入可突破6091.38元；进一步推算，一个月的月收入轻松超过185711.4元，这无疑是相当令人振奋的商业前景。
此外，deepseek-recipe组件不仅支持主流大模型的API协议，还确保与models Tokens之间的高效编解码，其处理逻辑与DeepSeek官方API完全对齐，这样第三方部署就能获得与官方版本一致的流畅体验。为更深入地阐释其技术体系，DeepSeek在知乎发布了详细的技术白皮书，揭示了DeepSeek V4.1 Flash推理系统的整体架构及核心实现，亦是对刚刚开源的两大组件的设计细节进行全面解读。 乐玩.LEWIN乐玩
技术报告的篇幅较长，但通过最新发布的DeepSeek-V4.1-Flash-1017模型，我们可以提炼出一些关键要点：
在吞吐线方面，DeepSeek采取了一系列措施确保GPU资源的高效利用。比如，节点内部的MoE专家并行（EP）机制能够显著增大批处理规模，从而提升GPU矩阵乘法的效率。同时，Prefill与Decode环节的并行度设置也相应调整，以适应不同的计算需求。在负载均衡方面，DeepSeek利用四级调度系统以及多种均衡器，确保请求在处理系统中的高效分配。
在成本控制上，DeepSeek致力于将重复的预填充请求降到最低。其KVCache设计目标是保留超过72小时的历史数据，而诸如Block KVCache的设计则进一步增强了灵活性——它将数据按128 tokens进行切块，并存储在独立的存储集群中，以应对高并发查询的需求。 乐玩.LEWIN乐玩
延迟方面，DeepSeek同样采取了一系列优化措施，力求实现尽可能短的响应时间。通过将编码、预填充和解码过程分开部署，系统能够更加灵活地配置资源，从而同时优化预填充和解码的两个环节。另外，在生成过程中引入的边生成边返回机制，更是高效利用了状态机，最大限度减少了无效的等待时间。
在这一系列创新与技术进步的推动下，DeepSeek无疑为推理服务行业注入了新的动能，正朝着真正的开放智能体（OpenAI）迈进。
