La operativa de trading de HRT depende de un gran clúster de cómputo de investigación, que entrena modelos con años de historial bursátil y simula escenarios de trading en numerosas CPU y GPU. A medida que la empresa amplió su almacenamiento y su capacidad de cómputo a nivel global, incluyendo lugares tan lejanos como Noruega, los programas se ejecutaban cada vez más lejos de los datos que necesitaban, y el ancho de banda WAN se convirtió en una limitación clave. Cuando el tráfico entre sedes saturó la red, HRT descubrió que su observabilidad era deficiente y no podía determinar fácilmente qué usuarios y flujos de trabajo eran los responsables.
La investigación comenzó con una lenta ejecución de entrenamiento de un modelo. El programa utilizaba GPU en Chicago para analizar datos de Nueva York, replicados mediante un servicio dedicado entre regiones llamado Dupe Dog. La transferencia se detuvo y los paneles mostraron que la tasa de transferencia se había desplomado. Los propios registros de Dupe Dog no explicaban la ralentización, y los contadores sin procesar de los conmutadores de red revelaron una fuente desconocida de tráfico que saturaba por completo la capacidad hacia Chicago. El tráfico no procedía de Dupe Dog ni de la caché de archivos distribuida Cashy.
HRT concede a los investigadores amplia libertad para elegir sus herramientas, por lo que varios servicios comparten la red y no todo el tráfico pasa por un único servicio registrado. Los trabajos pueden comunicarse mediante sockets, montajes cruzados de almacenamiento, copias directas de archivos o servidores web personalizados, lo que deja muchas posibles explicaciones para la carga no explicada.
Para vincular a usuarios y programas con el uso de la WAN independientemente de la herramienta empleada, HRT recurrió a una captura exhaustiva con eBPF, combinando la telemetría de los servicios con los contadores de bytes del hardware de red para mostrar qué usuarios y programas generan más tráfico.
Fuente: Hacker News · Resumido por HeadlinesBriefing