推出 Infinity:一个面向极端智能体并发的运行时

智能体大部分时间都花在等待工具上。一个编程智能体可能启动一次持续二十分钟的构建,一个分诊智能体可能等上几个小时才等到代码仓库的下一个拉取请求,一个助手则可能一直等到第二天早上才拿到审批结果。大多数智能体运行框架把智能体循环当成一串阻塞步骤来执行:框架调用模型、调用工具、等待工具返回,然后重复。智能体在等待期间一直占着进程和内存,也无法响应这期间到达的事件。 今天,我们在 Apache 2.0 开源许可下发布 Infinity,它属于 Hydro 项目,这是 AWS 与加州大学伯克利分校合作推进的工作。Infinity 是一个研究项目,它重新构思了智能体运行时,思路来自编程语言里用于挂起和恢复异