Les activités de trading de HRT reposent sur un grand cluster de calcul dédié à la recherche, qui entraîne des modèles sur des années d'historique de bourse et simule des scénarios de trading sur de nombreux processeurs CPU et GPU. À mesure que l'entreprise a étendu son stockage et sa capacité de calcul à l'échelle mondiale, notamment vers des lieux éloignés comme la Norvège, les programmes s'exécutaient de plus en plus loin des données dont ils avaient besoin, et la bande passante WAN est devenue une contrainte majeure. Lorsque le trafic inter-sites a saturé le réseau, HRT a découvert que son observabilité était faible et ne permettait pas de déterminer facilement quels utilisateurs et flux de travail étaient à l'origine du problème.
L'enquête a commencé par un entraînement de modèle lent. Le programme utilisait des GPU situés à Chicago pour analyser des données provenant de New York, répliquées via un service inter-régions dédié appelé Dupe Dog. Le transfert s'est bloqué et les tableaux de bord ont montré que le débit s'était effondré. Les journaux propres à Dupe Dog n'expliquaient pas ce ralentissement, et les compteurs bruts des commutateurs réseau ont révélé une source de trafic inconnue saturant totalement la capacité vers Chicago. Ce trafic ne provenait ni de Dupe Dog ni du cache de fichiers distribué Cashy.
HRT laisse aux chercheurs une grande liberté dans le choix de leurs outils, si bien que plusieurs services partagent le réseau et que tout le trafic ne passe pas par un seul service journalisé. Les tâches peuvent communiquer via des sockets, des montages croisés de stockage, des copies directes de fichiers ou des serveurs web personnalisés, ce qui laisse de nombreuses explications possibles à cette charge inexpliquée.
Pour relier utilisateurs et programmes à l'utilisation du WAN quel que soit l'outil employé, HRT s'est tourné vers une capture complète avec eBPF, en associant la télémétrie des services aux compteurs d'octets du matériel réseau afin de montrer quels utilisateurs et programmes génèrent le plus de trafic.
Source: Hacker News · Résumé par HeadlinesBriefing