AI 热点短文
AI长会话提速,老板要知道
这件事跟你有关:Claude 平台开始公测“消息线程”。它针对连续多轮干活的 AI,要解决长会话越聊越慢的问题。以前每问一次,系统都要把前面所有对话再发一遍;对话越长,AI 开始回答前的等待越久。现在只发新增内容,等待会缩短。你若让 AI 连续多轮干活,这个变化值得留意。
它的工作方式像给 AI 开一条连续会话通道。第一次请求仍要把完整对话发过去,后面每一轮只发新消息和上一轮编号。原文举了编码智能体:一次会话可能发出几百次请求,每次都要带上此前消息和工具结果;对话到几十万个 token 后,重发历史会增加等待。Anthropic 说,对大多数 Claude Code 用户,这功能默认开启;50万到100万 token 的请求,首字等待中位数约降35%。它还适合电脑操作智能体,截图可以留在线程里,不用每次重传;也适合文档和图片很多的流程。上下文越多,它越能减少等待。
但要注意三件事。第一,它不省费用。Claude 每轮仍会读完整对话,token 用量不变,按标准价格计费。第二,线程适合连续活跃、而且等待很影响体验的场景;最后一次请求后5分钟过期,客户端要重新发完整对话。线程在内存里保存,经过加密,不写入磁盘。第三,这不是老板在界面上点一下就能开;如果要接入自己的系统,需要技术人员在接口请求里加参数。你可以先挑那些连续活跃、等待明显、又带很多文档图片的任务。若你只是偶尔问一句、答一句,或者每次对话都很短,这项更新感受不会明显。
去问技术伙伴:我们有哪些长会话 AI 任务。
来源:Claude 官网博客
https://claude.com/blog/message-threads
https://claude.com/blog/message-threads