Der Handel bei HRT stützt sich auf einen großen Forschungs-Compute-Cluster, der Modelle mit jahrelanger Börsenhistorie trainiert und Handelsszenarien auf zahlreichen CPUs und GPUs simuliert. Als das Unternehmen Speicher und Rechenleistung weltweit ausbaute, auch an entlegene Standorte wie Norwegen, liefen Programme zunehmend weit entfernt von den benötigten Daten, und die WAN-Bandbreite wurde zu einem zentralen Engpass. Als der Verkehr zwischen den Standorten das Netzwerk überlastete, stellte HRT fest, dass seine Observability schwach war und sich nicht ohne Weiteres feststellen ließ, welche Nutzer und Workflows dafür verantwortlich waren.
Die Untersuchung begann mit einem langsamen Modelltraining. Das Programm nutzte GPUs in Chicago, um Daten aus New York zu analysieren, die über einen dedizierten regionsübergreifenden Dienst namens Dupe Dog gespiegelt wurden. Die Übertragung stockte, und die Dashboards zeigten, dass die Übertragungsrate stark eingebrochen war. Die eigenen Logs von Dupe Dog erklärten die Verlangsamung nicht, doch die rohen Zähler der Netzwerk-Switches zeigten eine unbekannte Verkehrsquelle, die die Kapazität Richtung Chicago vollständig auslastete. Der Verkehr stammte weder von Dupe Dog noch vom verteilten Dateicache Cashy.
HRT gewährt den Forschenden weitreichende Freiheit bei der Wahl ihrer Werkzeuge, daher teilen sich mehrere Dienste das Netzwerk, und nicht der gesamte Verkehr läuft über einen einzigen protokollierten Dienst. Jobs können über Sockets, storage cross-mounts, direkte Dateikopien oder eigene Webserver kommunizieren, was viele mögliche Erklärungen für die ungeklärte Last offenlässt.
Um Nutzer und Programme unabhängig vom verwendeten Werkzeug mit der WAN-Nutzung zu verknüpfen, setzte HRT auf eine umfassende Erfassung mit eBPF und verband die Telemetrie der Dienste mit den Byte-Zählern der Netzwerkhardware, um zu zeigen, welche Nutzer und Programme am meisten Verkehr erzeugen.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing