AWS 开源 Infinity、8GB 内存塞进 7.5 万个智能体、等工具返回时几乎不耗资源

AI 员工集体睡觉去了

2026 年 10 月 23 日，AWS 在开源博客上发布了一个叫 Infinity 的项目。它不是模型，不是应用，是一套专门用来运行 AI 智能体的运行时（runtime），用 Rust 写，Apache 2.0 开源，背后还有加州大学伯克利分校 Sky Computing Lab 的 Hydro 项目。

官方那句话很抓眼球：「我们能把 7.5 万个并发智能体塞进树莓派 5 的那 8GB 内存里。」

用人话说： 过去一个 AI 助手闲着的时候，也在占着一个进程、一份内存。现在这套东西让 AI 助手能「睡着」——睡着的时候几乎不花资源，醒来干活时才真正开始消耗。 听起来像技术细节，其实直接决定了「AI 员工」这件事到底能不能规模化。

一句话总结

Infinity 把「AI 员工」的成本结构改写了：等工具返回的时候几乎不耗资源，于是同时开 7.5 万个智能体从「不可能」变成「一张内存条的事」。

一、7.5 万这个数字是怎么来的

先说清楚官方口径，以免被标题党带偏。

原始说法是：「我们能把 75,000 个并发智能体装进树莓派 5 的 8GB 内存里。」 这里是内存量级的类比——这个测试并没有真的在树莓派上跑，而且这些数字是 AWS 自己公布的，没有第三方独立验证。

真正的基准条件是这样的：

项目 · 数字

智能体数量 · 8 万个

每个智能体的对话轮次 · 20 轮

总模型调用次数 · 320 万次

运行硬件 · 单个 AMD EPYC 9R14 线程

存储 · 内存内（in-memory）

模型 · 模拟模型，不是真实大模型

单个空闲智能体占用 · 约 100 KB（20 轮工具调用后约 103 KB）

8 万个空闲智能体常驻 · 约 8.4 GB

用人话说： 「模拟模型」这一条最关键——它意味着这次测的不是 AI 算得多快，而是这套调度框架本身能挂多少个「人」。 换句话说，它测的是「公司能同时雇多少个 AI 员工」，而不是「这些员工干活有多快」。

二、真正的技术：一套「睡着也能干活」的调度法

Infinity 的核心叫无栈协程（stackless coroutine）。翻译成人话是这样：

过去的做法：智能体去调用一个工具（比如查数据库、发请求），就一直占着一个进程等着，占着内存，占着并发额度。

Infinity 的做法：智能体像 Rust 的 async fn 状态机。调用工具时，运行时把这次调用派发出去，把智能体挂起（suspend），只保存一份状态；等工具结果回来，再从这个状态恢复。

配套的机制叫有界执行切片（bounded execution slices）——每一片只做几件事：从存储加载历史 → 跑一次模型补全 → 持久化输出 → 最多派发一次工具调用 → 结束。任何一片都不会在工具、定时器或外部操作上阻塞。

用人话说： 这就是「睡觉」的原理。不是把智能体关掉，是把它的状态存起来腾出位置。就像服务员把餐点放在托盘上，先去招呼别的桌，等厨房做好再回来端。托盘（那 100KB 状态）占地方，但人（进程和内存）不用占着。

这个设计带来一个对云厂商极其重要的结果：因为没有任何一片会阻塞，AWS Lambda 函数可以在工具还在跑的时候直接终止。

官方那句大白话翻译过来就是：「一个要等三天的 CI 流水线的智能体，在流水线报告结果之前，不消耗任何算力。」

用人话说： 过去每挂一个「等外部结果」的智能体，你都得为它留一份常驻资源。现在它可以退回去睡觉，等有结果了再被唤醒。这直接砍掉了 AI 员工成本里最大的一块——「挂着等」的成本。

三、顺带解决的另外两件事

第一，合成工具调用（synthetic tool calls）。 异步事件不是通过模型 API 注入的，而是伪装成一次模型自己发起的工具调用（receive_event__injected）。好处是现有模型 API 一行都不用改，任何模型都能直接跑。

第二，智能体之间能互相派活。 内置 spawn_thread 和 report_to_parent——父智能体可以派生子智能体，子智能体的回报也以合成事件的形式回来。关键细节是：回报不占用父智能体的上下文窗口，所以父级不会因为孩子太多而「撑爆」。

配套发布的还有三样：

Reactive Agent Protocol（RAP）：用网络提供工具服务，不用一直保持连接；现有的 MCP 服务器通过兼容层可以原样运行

Infinity Code：一个跑在上面的编码智能体，支持后台构建和测试、并行编辑线程、堆叠沙箱，产出 diff 供人工审阅

AWS CDK 模板：参考部署路径是 SQS FIFO（输入队列）→ Lambda（跑切片）→ Aurora DSQL（对话历史）→ DynamoDB（已处理消息追踪），定时器用 SQS 延迟投递加 EventBridge Scheduler

用人话说： 「现有 MCP 服务器可以原样运行」这一条，实际价值可能比 7.5 万这个数字更大。它意味着已经建好的工具生态不用重写，接入成本降了一大截。

四、AWS 自己承认的四个问号

AWS 的研究负责人 Shadaj Laddad 在发布博客里主动列出了几个还没解决的问题：

1. 专门训练过「按顺序调用工具」的模型，能不能应付乱序到达的事件？

2. 运行时怎么验证一个收到的外部事件是不是真的？

3. 智能体树跨层级时，状态怎么压缩？

4. 智能体树里，调度优先级怎么定？

另外还有几条来自第三方报道的技术提醒：真实工具的延迟分布和供应商限流会改变这些数字；竞态条件会让保证只落在「同一 thread_id 的顺序」上；你需要可插拔的存储、持久队列和幂等的工具；可观测性要追踪切片边界，而不只是 HTTP 请求。

AWS 也把自己的定位说得很清楚：这是一个「早期研究版本」，用来收集反馈的，不是带 SLA 的正式托管服务。

用人话说： 「怎么验证一个事件是不是真的」这一条，其实是个安全问题。如果任何人都能让你的智能体收到一条假的「任务完成」通知，它会不会被骗去执行下一步？ 这类问题在开源早期被摆到明面上，是好事。

用人话说： 还有一个时间点值得注意：这个项目发布一天后，Google Cloud 就推出了 Agent Compute Engine（每个智能体一个 microVM、空闲时暂停）。两家的解法方向不同——Google 侧重「凭证隔离」，AWS 侧重「并发经济性」。大厂开始正面卷「怎么养 AI 员工最便宜」，是这轮竞争里最实在的一步。

对普通人意味着什么

第一，「AI 员工」的边际成本正在快速下降。 过去一个 AI 助手不管闲忙都占资源，所以公司只敢开几十个；现在成本结构和「开着灯的办公室」一样——关灯的时候几乎不要钱。这意味着一年之内，替你干活的 AI 会从「一个专属助手」变成「一队同事」。

第二，别再把「AI 助手」当成一个 App 来用。 当你有一个能派活给别人的智能体，你用它的方式就该变：不是问它「帮我写」，而是告诉它「这件事你去搞定」。 问的人和派的人的产出差距，未来一年会拉开好几倍。

第三，「免费等待」这件事对个人用户也有用。 官方那个例子——等三天的 CI 流水线不消耗算力——对应的个人场景是：让 AI 去跑一件要等很久的事，不用担心它一直占着你的额度。 这一点在各家 AI 工具的订阅里还很少被强调，但很快会普及。

第四，但也要记住几个真实存在的坑。 开源项目是早期研究版本，没有 SLA；第三方提醒的那些竞态、幂等、可观测性问题，在生产环境里都要自己填；乱序事件和事件真实性验证的问题目前还开放。在自己业务里上生产之前，一定要留出验证的时间。

第五，也是最实际的一条：这次发布说明「AI 的竞争已经下沉到运行时」。 未来一年，模型层会越来越像水电煤，而真正拉开差距的，是谁能把几万个 AI 员工管得更省、更稳。

写在最后

1 这个数字真正的意义，不是「7.5 万」而是「8GB」

7.5 万这个绝对数字会随着硬件和工程优化很快被推翻。但「每个空闲智能体 100KB」这个成本结构，决定了 AI 员工的规模化拐点。任何把「等待」的成本降到接近于零的技术，都会立刻释放一波新的生产力。

2 过去两年 AI 工具的瓶颈，一直是「等」

我们抱怨 AI 慢，很多时候慢在等：等工具、等检索、等外部系统。而这一整代工具的架构，都是为「一个用户一次一个请求」设计的，所以一忙就排队，一多就贵。Infinity 这类运行时是在改这个底层假设。 谁先把「等」这件事的成本干掉，谁就能跑出别人跑不动的规模。

3 大厂同一天开火，说明这层战场价值很高

AWS 发完第二天 Google 就跟上，一个打「凭证隔离」，一个打「并发经济性」。大厂不会为一件事挤同一天，除非那件事决定了未来几年的格局。

未来 1 年看三件事：① 会不会有更多厂商跟进「智能体运行时」这一层，以及能不能把闲置成本再压一个数量级；② MCP 兼容层会不会成为事实标准，让现成工具生态零成本接入新运行时；③ 乱序事件与事件真实性验证这两个安全口子，会不会成为下一个行业标准要解决的问题。

如果觉得这篇拆解对你有帮助，不妨点个关注和在看。

你的 AI 陪跑伙伴 【数字新奇点】 会继续关注 AI 背后的基础设施——模型变重要，但让模型便宜跑起来的那些活儿同样重要。

咱们下期见！

参考资料

Introducing Infinity: a runtime for extreme agent concurrency（AWS 开源博客）

hydro-project/infinity（GitHub）

Agent Runtime · Infinity 官方文档

AWS open-sources Infinity, a Rust agent runtime that fits about 75,000 idle AI agents in 8 GB（Data Studios）

AWS Open-Sources Infinity, Saying 75,000 Idle AI Agents Fit in 8GB（TSN Media）

Introducing Infinity: a runtime for extreme agent concurrency（World Programming）