News
Anthropic 推出 Message Threads 公测:长对话首字延迟降低约 35%
Anthropic 在 Claude 平台公测 Message Threads,仅传输上次消息以来的增量内容,据其说法在 50 万至 100 万 token 的请求中首字延迟降低约 35%,线程闲置五分钟后过期。
核心事实
据 The Decoder 报道,Anthropic 已在 Claude 平台以公开测试形式推出 Message Threads。此前每次 API 请求都需要重新发送完整对话历史,而 Message Threads 只传输自上一条消息以来发生变化的内容。Anthropic 表示,在 50 万至 100 万 token 的请求中,该机制将首字延迟(time to first token)降低约 35%。
背景与影响
Anthropic 称,编码智能体、计算机操作类智能体,以及需要处理大量文档或图像的工作流受益最明显。线程在两次请求之间以加密形式保留在内存中,闲置五分钟后过期。由于 Claude 仍需读取完整对话历史,token 用量不会因此改变。该功能可在 Claude 平台以及通过 AWS、Microsoft Foundry 和 Google Cloud 使用,具体细节见官方文档。
限制与来源
上述延迟降幅为 Anthropic 自行给出的数据,报道未提供独立测试结果。该功能目前处于公开测试阶段,可用范围、配额与计费方式可能调整,请以 Anthropic 官网及文档的当前信息为准。本文信息来自 the-decoder.com 的报道。