Торговля HRT опирается на большой исследовательский вычислительный кластер, который обучает модели на многолетней истории биржевых данных и моделирует торговые сценарии на множестве CPU и GPU. По мере того как компания расширяла хранилища и вычислительные мощности по всему миру, в том числе в такие удалённые места, как Норвегия, программы всё чаще работали далеко от нужных им данных, и пропускная способность WAN стала ключевым ограничением. Когда трафик между площадками перегрузил сеть, HRT обнаружила, что её возможности наблюдаемости слабы и не позволяют легко определить, какие пользователи и рабочие процессы за это отвечают.
Расследование началось с медленного запуска обучения модели. Программа использовала GPU в Чикаго для анализа данных из Нью-Йорка, которые реплицировались через выделенный межрегиональный сервис под названием Dupe Dog. Передача остановилась, а на панелях мониторинга было видно, что скорость резко упала. Собственные журналы Dupe Dog не объясняли замедления, а необработанные счётчики сетевых коммутаторов выявили неизвестный источник трафика, полностью занимавший канал в сторону Чикаго. Трафик шёл не от Dupe Dog и не от распределённого файлового кэша Cashy.
HRT предоставляет исследователям широкую свободу в выборе инструментов, поэтому множество сервисов используют одну сеть, и не весь трафик проходит через один журналируемый сервис. Задачи могут обмениваться данными через сокеты, перекрёстные монтирования хранилищ, прямое копирование файлов или собственные веб-серверы, что оставляет множество возможных объяснений для необъяснённой нагрузки.
Чтобы связать пользователей и программы с использованием WAN независимо от применяемого инструмента, HRT обратилась к полному захвату трафика с помощью eBPF, объединив телеметрию сервисов со счётчиками байтов сетевого оборудования, чтобы показать, какие пользователи и программы генерируют больше всего трафика.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing