HeadlinesBriefing favicon HeadlinesBriefing.com

百万智能体:分布式系统问题

Hacker News •
×

我思考智能体的方式就像思考人一样。一个智能体是一个工人。一千个智能体是一个组织,而机器的组织就是一个分布式系统。人们一直告诉我智能体可以永远运行。从技术上讲这是真的。你可以循环调用模型直到你的信用卡被拒绝。但智能体仍然运行在有限的东西上:令牌、上下文、计算、内存、工具、金钱。总会有东西耗尽。人类也没有太大不同。我们工作一段时间后会感到疲倦。我们的工作记忆很小。我们会忘记事情。所以我们把重要的部分写下来,睡觉,第二天早上带着清醒的头脑和相同的身份回来。机器有同样的约束,只是形式不同。一个盒子用完了CPU。一个容器用完了内存。没有人通过假设每个进程都应该永远活着来解决这个问题。我们在拥有的资源上调度工作。我不明白为什么智能会得到豁免。一个智能体可以工作一段时间,写下重要的东西,清除其上下文,然后让自己或另一个智能体从那里继续。我们在Ins Forge的VPS上运行我们自己的编码智能体,它们经常被杀死、重启和耗尽上下文。真正造成伤害的失败是那些计划只存在于智能体上下文窗口中的失败。

添加智能体在Google Research的180配置研究中将并行工作提高了高达80.9%,但将顺序工作降低了39%到70%。任务的形式决定了结果。在同一研究中,一个协调器将错误放大从17.2倍减少到4.4倍。协调是一项真正的工作。在Silo-Bench(ACL 2026)中,2到100个智能体的团队说了很多,但推理很差。最困难的任务在50个智能体时成功率为零。所以持久的东西应该是状态,而不是智能体。像调度进程一样调度智能体,像恢复节点一样恢复它们。

智能体开始看起来像进程。这在一段时间前就不再是类比了。有一个完整的研究方向在构建它。AIOS,一个来自Rutgers的“LLM智能体操作系统”,用一句话打开了这个问题:“允许无限制地访问LLM或工具资源可能导致智能体低效甚至潜在有害的资源分配和利用。”他们的答案是内核。每个智能体请求被分解为系统调用,调度器决定下一个运行谁的调用,上下文管理器在任务中途快照智能体,以便它可以被中断和恢复。他们报告说,在为基于现有框架构建的智能体服务时,执行速度提高了高达2.1倍。调度、上下文切换、内存管理、存储、访问控制。那是一个操作系统。进程恰好会思考。

它在上层也有回报。LLM-as-Scheduler,来自ACL 2026,从大多数查询不值得一个繁重的多智能体工作流这一观察开始,让调度器为每个查询选择工作流。他们减少了43%的令牌和超过36%的端到端延迟,与强大的固定工作流相比,准确性最多下降1.4个百分点。所以一个智能体看起来像一个进程,数千个进程需要一个调度器。好的。但调度计算只是其中一半。你还必须协调智能体彼此之间的合作,这就是有趣的地方。十个人协调。一万人发明了经理。十个人可以在一个房间里自我协调。一千个人不能都互相交谈并独立决定公司应该做什么,所以我们发明了团队、经理、部门,最终有了CEO。经理的存在部分是因为协调本身就是工作,必须有人来做。我假设智能体会有同样的问题。现在有数据了。Google Research和MIT对180种智能体配置进行了对照研究,涵盖五种架构和三个模型家族。他们的标题是:“'更多智能体'的方法经常遇到天花板,甚至可能……”。