Amazon Web Services工程师Marc Brooker专注于智能体AI的安全与政策研究,他借助动画帮助工程师建立对分布式系统运行与故障机制的直观认识。他指出,许多行为仅凭文字很难理解,而动画能够将其讲清楚。
其中一个示例表明,如果Raft集群中哪怕只有一个成员的存储层错误地报告fsync()已完成,集群就可能丢失写入。Brooker此前开发的Stability Sim工具从抽象层面说明了亚稳态故障,但工程师往往怀疑这些行为会出现在经过生产验证的系统中。
为了回应这种怀疑,他展示了来自真实系统的追踪记录。在运行于Micro VM中的Postgres 16上,负载峰值使查询占满内存,挤出页缓存中的数据并转向磁盘,导致原本每秒可处理20个查询的数据库再也无法跟上。在etcd中,写入负载峰值使过载的节点看似不可用,从而触发应用层重发,进一步维持了过载状态。
另一个etcd示例展示了垃圾回收的反馈循环:读取量从每秒500次激增至1000次,垃圾回收时间随之增加,可用CPU减少,系统在没有外部干预的情况下无法恢复。Brooker怀疑没有垃圾回收机制的运行时也可能因分配器开销而出现类似行为,但尚未复现。所有动画均使用Kiro和Kiro Crew生成,所依据的追踪数据采集自真实测试环境。
来源: Hacker News · 由HeadlinesBriefing整理摘要