As operações de trading da HRT dependem de um grande cluster de computação para pesquisa, que treina modelos com anos de histórico de bolsa e simula cenários de negociação em muitas CPUs e GPUs. À medida que a empresa expandiu seu armazenamento e sua capacidade de computação globalmente, incluindo locais distantes como a Noruega, os programas passaram a rodar cada vez mais longe dos dados de que precisavam, e a largura de banda WAN tornou-se uma restrição-chave. Quando o tráfego entre sites sobrecarregou a rede, a HRT descobriu que sua observabilidade era fraca e não conseguia determinar facilmente quais usuários e fluxos de trabalho eram responsáveis.
A investigação começou com uma execução lenta de treinamento de modelo. O programa usava GPUs em Chicago para analisar dados de Nova York, espelhados por meio de um serviço dedicado entre regiões chamado Dupe Dog. A transferência travou e os painéis mostraram que a taxa de transferência havia despencado. Os próprios logs do Dupe Dog não explicavam a lentidão, e os contadores brutos dos switches de rede revelaram uma fonte desconhecida de tráfego saturando completamente a capacidade em direção a Chicago. O tráfego não vinha do Dupe Dog nem do cache de arquivos distribuído Cashy.
A HRT dá aos pesquisadores ampla liberdade para escolher suas ferramentas, de modo que vários serviços compartilham a rede e nem todo o tráfego passa por um único serviço registrado. Os jobs podem se comunicar por sockets, montagens cruzadas de armazenamento, cópias diretas de arquivos ou servidores web personalizados, o que deixa muitas explicações possíveis para aquela carga não explicada.
Para relacionar usuários e programas ao uso da WAN independentemente da ferramenta utilizada, a HRT recorreu à captura abrangente com eBPF, combinando a telemetria dos serviços com os contadores de bytes do hardware de rede para mostrar quais usuários e programas geram mais tráfego.
Fonte: Hacker News · Resumido por HeadlinesBriefing