HRT 的交易依赖一个庞大的研究计算集群，该集群基于多年的交易所历史数据训练模型，并在大量 CPU 和 GPU 上模拟交易场景。随着公司在全球范围扩展存储和计算能力，包括延伸至挪威等遥远地点，程序越来越多地运行在距离所需数据很远的地方，广域网带宽因此成为关键制约因素。当站点间流量压垮网络时，HRT 发现其可观测性很薄弱，难以轻松确定是哪些用户和工作流造成的。
调查始于一次缓慢的模型训练运行。该程序使用 芝加哥 的 GPU 分析来自 纽约 的数据，这些数据通过一项名为 Dupe Dog 的专用跨区域服务进行镜像。传输停滞，仪表板显示传输速率骤降。Dupe Dog 自身的日志无法解释这种减速，而原始网络交换机计数器显示，有一个未知的流量来源完全占满了通往芝加哥的链路容量。这些流量既不是来自 Dupe Dog，也不是来自分布式文件缓存 Cashy。
HRT 允许研究人员广泛自由地选择工具，因此多个服务共享网络，并非所有流量都经过单一的有日志记录的服务。作业可以通过套接字、存储交叉挂载、直接文件复制或自定义 Web 服务器进行通信，这使得对这一无法解释的负载存在许多可能的解释。
为了无论使用何种工具都能将用户和程序与广域网使用情况关联起来，HRT 转而采用基于 eBPF 的全面捕获技术，将服务遥测数据与网络硬件字节计数器相结合，以显示哪些用户和程序产生的流量最多。
来源: Hacker News · 由HeadlinesBriefing整理摘要