构建面向 Agentic 推理的下一代 LLM 推理引擎

随着 Agent 类负载快速增长，为聊天场景设计的推理引擎在吞吐目标、缓存复用和硬件适配上逐渐失效。TokenSpeed 独立贡献者尚旭春在 AICon 2026 深圳站分享了该项目的设计思路：从 Agent 负载特征出发，重构调度、缓存与算子层，并给出在 Blackwell 平台上的阶段性性能数据。 ## 为什么 Agent 场景需要重新设计推理引擎 ### Chat 与 Agent 是两类负载 传统 Chat 负载的优化目标相对单一：用户发一次请求，模型生成一段完整回复。系统只需尽量把 batch 打满、最大化吞吐，KV Cache 加载一次后即释放，复用率天然偏低。 Agent 场景则不