用消息线程让长时间运行的代理更快响应

HN Shipped with Claude 2026-11-02T22:03:23.285187

消息线程功能现已在 Claude 平台开放公开测试。借助消息线程,代理不必每一轮都重新发送完整的对话历史,从而降低长时间会话的延迟。

消息线程的工作原理

一个编程代理在一次会话中可能要发出数百次请求,而每次请求都会把之前的每一条消息和工具返回结果重新发一遍。当对话增长到数十万 token 时,这种全量重发会拖慢 Claude 开始响应的速度。有了消息线程,代理只需发送上一轮之后新增的内容,从而缩短首 token 时间(TTFT)。

目前大多数 Claude Code 用户已默认开启消息线程。对于 500k 到 1M token 的请求,首 token 时间的中位数下降了约 35%。

要使用消息线程,只需在 Messages API 请求中加上 thread 参数。第一次请求携带完整对话并开启一个线程,之后的每次请求只包含新消息和上一条响应的 ID。两轮对话之间,每个线程都保存在内存中,加密存储,不写入磁盘。线程在最后一次请求结束 5 分钟后过期,此时客户端需要重新发送完整对话来开启新线程。虽然有了消息线程后每次请求的体积变小了,但 Claude 每一轮仍然会读取完整对话,因此 token 用量保持不变。

消息线程最适合对延迟敏感的活跃会话,包括:

代理携带的上下文越多,消息线程对首 token 时间的优化效果就越明显。

快速上手

消息线程现已在原生 Claude 平台开放公开测试,同时也支持 AWS 上的 Claude 平台、Microsoft Foundry 中的 Claude,以及 Google Cloud 上的 Claude 模型(由 Anthropic 托管)。适用标准 Claude token 费率和现有速率限制。详情请查阅文档。

查看原文