Tracing Mystery Network Traffic with eBPF Across HRT's Global Compute Cluster

HRT's trading relies on a large research compute cluster, training models on years of exchange history and simulating trading scenarios across many CPUs and GPUs. As the company expanded storage and compute globally, including to distant places like Norway, programs increasingly ran far from the data they needed, and WAN bandwidth became a key constraint. When inter-site traffic overwhelmed the network, HRT discovered its observability was weak and could not easily determine which users and workflows were responsible.

The investigation began with a slow model training run. The program used GPUs in Chicago to analyze data from New York, mirrored through a dedicated cross-region service called Dupe Dog. The transfer stalled, and dashboards showed the transfer rate had cratered. Dupe Dog's own logs did not explain the slowdown, and the raw network switch counters revealed an unknown source of traffic completely saturating the capacity into Chicago. The traffic was not coming from Dupe Dog or from the distributed file cache Cashy.

HRT gives researchers wide freedom to choose their tools, so multiple services share the network and not all traffic passes through a single logged service. Jobs can communicate through sockets, storage cross-mounts, direct file copies, or custom web servers, which leaves many possible explanations for the unexplained load.

To connect users and programs to WAN usage regardless of the tool used, HRT turned to comprehensive capture with eBPF, joining service telemetry with network hardware byte counters to show which users and programs generate the most traffic.

يعتمد تداول HRT على مجموعة حوسبة بحثية كبيرة، تُدرّب النماذج على سنوات من سجل البورصة وتحاكي سيناريوهات التداول عبر عدد كبير من وحدات المعالجة المركزية ووحدات معالجة الرسوميات. ومع توسّع الشركة في التخزين والحوسبة على مستوى العالم، بما في ذلك مواقع بعيدة مثل النرويج، صارت البرامج تعمل بشكل متزايد بعيدًا عن البيانات التي تحتاجها، وأصبح عرض النطاق الترددي لشبكة WAN قيدًا رئيسيًا. وعندما أثقلت حركة المرور بين المواقع كاهل الشبكة، اكتشفت HRT أن قدرتها على المراقبة ضعيفة، ولم تتمكن بسهولة من تحديد المستخدمين وسير العمل المسؤولين عن ذلك.

بدأ التحقيق بتشغيل بطيء لتدريب نموذج. كان البرنامج يستخدم وحدات معالجة رسوميات في شيكاغو لتحليل بيانات من نيويورك، والتي كانت تُنسخ عبر خدمة مخصصة بين المناطق تُسمى Dupe Dog. توقف النقل، وأظهرت لوحات المراقبة انهيار معدل النقل. ولم تفسر سجلات Dupe Dog نفسها هذا البطء، كما كشفت عدادات مفاتيح الشبكة الخام عن مصدر مجهول للحركة يُشبع السعة المتجهة إلى شيكاغو بالكامل. ولم تكن الحركة قادمة من Dupe Dog أو من ذاكرة الملفات الموزعة Cashy.

تمنح HRT الباحثين حرية واسعة في اختيار أدواتهم، لذلك تتشارك عدة خدمات الشبكة، ولا تمر كل الحركة عبر خدمة واحدة مسجلة. يمكن للمهام أن تتواصل عبر المقابس، أو التركيبات المتقاطعة للتخزين، أو نسخ الملفات المباشر، أو خوادم الويب المخصصة، مما يترك احتمالات كثيرة لتفسير هذا الحمل غير المفسر.

ولربط المستخدمين والبرامج باستخدام شبكة WAN بغض النظر عن الأداة المستخدمة، لجأت HRT إلى التقاط شامل باستخدام eBPF، مع دمج قياسات الخدمات مع عدادات بايتات أجهزة الشبكة لإظهار المستخدمين والبرامج التي تولّد أكبر قدر من الحركة.

HRT-এর ট্রেডিং একটি বড় গবেষণা কম্পিউট ক্লাস্টারের ওপর নির্ভরশীল, যা বছরের পর বছরের এক্সচেঞ্জের ইতিহাসের ওপর মডেল প্রশিক্ষণ দেয় এবং বহু CPU ও GPU জুড়ে ট্রেডিং পরিস্থিতির সিমুলেশন চালায়। কোম্পানি যখন বিশ্বজুড়ে তার স্টোরেজ ও কম্পিউটিং সম্প্রসারণ করল, যার মধ্যে নরওয়ের মতো দূরবর্তী স্থানও ছিল, তখন প্রোগ্রামগুলো ক্রমশ এমন জায়গায় চলতে লাগল যেখান থেকে প্রয়োজনীয় ডেটা অনেক দূরে ছিল, এবং WAN ব্যান্ডউইথ একটি প্রধান সীমাবদ্ধতায় পরিণত হলো। সাইটগুলোর মধ্যকার ট্রাফিক যখন নেটওয়ার্ককে ভারাক্রান্ত করে তুলল, তখন HRT দেখল যে তার পর্যবেক্ষণ ব্যবস্থা দুর্বল এবং কোন ব্যবহারকারী ও ওয়ার্কফ্লো এর জন্য দায়ী, তা সহজে নির্ধারণ করা যাচ্ছে না।

তদন্ত শুরু হয় একটি ধীরগতির মডেল প্রশিক্ষণ রান দিয়ে। প্রোগ্রামটি শিকাগো-র GPU ব্যবহার করে নিউ ইয়র্ক-এর ডেটা বিশ্লেষণ করছিল, যা Dupe Dog নামে একটি নির্দিষ্ট আন্তঃ-অঞ্চল সার্ভিসের মাধ্যমে মিরর হচ্ছিল। স্থানান্তর থেমে যায় এবং ড্যাশবোর্ডে দেখা যায় স্থানান্তর হার ধসে পড়েছে। Dupe Dog-এর নিজস্ব লগ এই মন্থরতার ব্যাখ্যা দিতে পারেনি, আর কাঁচা নেটওয়ার্ক সুইচ কাউন্টারগুলো দেখাল, অজানা একটি উৎস থেকে আসা ট্রাফিক শিকাগোমুখী ধারণক্ষমতাকে পুরোপুরি পূর্ণ করে রেখেছে। ট্রাফিকটি Dupe Dog বা বিতরিত ফাইল ক্যাশ Cashy থেকে আসছিল না।

HRT গবেষকদের নিজেদের টুল বেছে নেওয়ার ব্যাপক স্বাধীনতা দেয়, তাই একাধিক সার্ভিস নেটওয়ার্ক ভাগ করে নেয় এবং সব ট্রাফিক একটিমাত্র লগ-করা সার্ভিসের মধ্য দিয়ে যায় না। জব সকেট, স্টোরেজ ক্রস-মাউন্ট, সরাসরি ফাইল কপি বা কাস্টম ওয়েব সার্ভারের মাধ্যমে যোগাযোগ করতে পারে, যার ফলে এই অব্যাখ্যাত লোডের অনেক সম্ভাব্য ব্যাখ্যা থেকে যায়।

ব্যবহৃত টুল যা-ই হোক না কেন, ব্যবহারকারী ও প্রোগ্রামগুলোকে WAN ব্যবহারের সঙ্গে যুক্ত করতে HRT eBPF দিয়ে ব্যাপক ক্যাপচারের দিকে ঝোঁকে এবং সার্ভিস টেলিমেট্রিকে নেটওয়ার্ক হার্ডওয়্যার বাইট কাউন্টারের সঙ্গে যুক্ত করে দেখায় কোন ব্যবহারকারী ও প্রোগ্রাম সবচেয়ে বেশি ট্রাফিক তৈরি করছে।

Der Handel bei HRT stützt sich auf einen großen Forschungs-Compute-Cluster, der Modelle mit jahrelanger Börsenhistorie trainiert und Handelsszenarien auf zahlreichen CPUs und GPUs simuliert. Als das Unternehmen Speicher und Rechenleistung weltweit ausbaute, auch an entlegene Standorte wie Norwegen, liefen Programme zunehmend weit entfernt von den benötigten Daten, und die WAN-Bandbreite wurde zu einem zentralen Engpass. Als der Verkehr zwischen den Standorten das Netzwerk überlastete, stellte HRT fest, dass seine Observability schwach war und sich nicht ohne Weiteres feststellen ließ, welche Nutzer und Workflows dafür verantwortlich waren.

Die Untersuchung begann mit einem langsamen Modelltraining. Das Programm nutzte GPUs in Chicago, um Daten aus New York zu analysieren, die über einen dedizierten regionsübergreifenden Dienst namens Dupe Dog gespiegelt wurden. Die Übertragung stockte, und die Dashboards zeigten, dass die Übertragungsrate stark eingebrochen war. Die eigenen Logs von Dupe Dog erklärten die Verlangsamung nicht, doch die rohen Zähler der Netzwerk-Switches zeigten eine unbekannte Verkehrsquelle, die die Kapazität Richtung Chicago vollständig auslastete. Der Verkehr stammte weder von Dupe Dog noch vom verteilten Dateicache Cashy.

HRT gewährt den Forschenden weitreichende Freiheit bei der Wahl ihrer Werkzeuge, daher teilen sich mehrere Dienste das Netzwerk, und nicht der gesamte Verkehr läuft über einen einzigen protokollierten Dienst. Jobs können über Sockets, storage cross-mounts, direkte Dateikopien oder eigene Webserver kommunizieren, was viele mögliche Erklärungen für die ungeklärte Last offenlässt.

Um Nutzer und Programme unabhängig vom verwendeten Werkzeug mit der WAN-Nutzung zu verknüpfen, setzte HRT auf eine umfassende Erfassung mit eBPF und verband die Telemetrie der Dienste mit den Byte-Zählern der Netzwerkhardware, um zu zeigen, welche Nutzer und Programme am meisten Verkehr erzeugen.

La operativa de trading de HRT depende de un gran clúster de cómputo de investigación, que entrena modelos con años de historial bursátil y simula escenarios de trading en numerosas CPU y GPU. A medida que la empresa amplió su almacenamiento y su capacidad de cómputo a nivel global, incluyendo lugares tan lejanos como Noruega, los programas se ejecutaban cada vez más lejos de los datos que necesitaban, y el ancho de banda WAN se convirtió en una limitación clave. Cuando el tráfico entre sedes saturó la red, HRT descubrió que su observabilidad era deficiente y no podía determinar fácilmente qué usuarios y flujos de trabajo eran los responsables.

La investigación comenzó con una lenta ejecución de entrenamiento de un modelo. El programa utilizaba GPU en Chicago para analizar datos de Nueva York, replicados mediante un servicio dedicado entre regiones llamado Dupe Dog. La transferencia se detuvo y los paneles mostraron que la tasa de transferencia se había desplomado. Los propios registros de Dupe Dog no explicaban la ralentización, y los contadores sin procesar de los conmutadores de red revelaron una fuente desconocida de tráfico que saturaba por completo la capacidad hacia Chicago. El tráfico no procedía de Dupe Dog ni de la caché de archivos distribuida Cashy.

HRT concede a los investigadores amplia libertad para elegir sus herramientas, por lo que varios servicios comparten la red y no todo el tráfico pasa por un único servicio registrado. Los trabajos pueden comunicarse mediante sockets, montajes cruzados de almacenamiento, copias directas de archivos o servidores web personalizados, lo que deja muchas posibles explicaciones para la carga no explicada.

Para vincular a usuarios y programas con el uso de la WAN independientemente de la herramienta empleada, HRT recurrió a una captura exhaustiva con eBPF, combinando la telemetría de los servicios con los contadores de bytes del hardware de red para mostrar qué usuarios y programas generan más tráfico.

Les activités de trading de HRT reposent sur un grand cluster de calcul dédié à la recherche, qui entraîne des modèles sur des années d'historique de bourse et simule des scénarios de trading sur de nombreux processeurs CPU et GPU. À mesure que l'entreprise a étendu son stockage et sa capacité de calcul à l'échelle mondiale, notamment vers des lieux éloignés comme la Norvège, les programmes s'exécutaient de plus en plus loin des données dont ils avaient besoin, et la bande passante WAN est devenue une contrainte majeure. Lorsque le trafic inter-sites a saturé le réseau, HRT a découvert que son observabilité était faible et ne permettait pas de déterminer facilement quels utilisateurs et flux de travail étaient à l'origine du problème.

L'enquête a commencé par un entraînement de modèle lent. Le programme utilisait des GPU situés à Chicago pour analyser des données provenant de New York, répliquées via un service inter-régions dédié appelé Dupe Dog. Le transfert s'est bloqué et les tableaux de bord ont montré que le débit s'était effondré. Les journaux propres à Dupe Dog n'expliquaient pas ce ralentissement, et les compteurs bruts des commutateurs réseau ont révélé une source de trafic inconnue saturant totalement la capacité vers Chicago. Ce trafic ne provenait ni de Dupe Dog ni du cache de fichiers distribué Cashy.

HRT laisse aux chercheurs une grande liberté dans le choix de leurs outils, si bien que plusieurs services partagent le réseau et que tout le trafic ne passe pas par un seul service journalisé. Les tâches peuvent communiquer via des sockets, des montages croisés de stockage, des copies directes de fichiers ou des serveurs web personnalisés, ce qui laisse de nombreuses explications possibles à cette charge inexpliquée.

Pour relier utilisateurs et programmes à l'utilisation du WAN quel que soit l'outil employé, HRT s'est tourné vers une capture complète avec eBPF, en associant la télémétrie des services aux compteurs d'octets du matériel réseau afin de montrer quels utilisateurs et programmes génèrent le plus de trafic.

HRT की ट्रेडिंग एक बड़े शोध कंप्यूट क्लस्टर पर निर्भर है, जो एक्सचेंज के वर्षों के इतिहास पर मॉडल प्रशिक्षित करता है और कई CPU और GPU पर ट्रेडिंग परिदृश्यों का सिमुलेशन करता है। जैसे-जैसे कंपनी ने अपने स्टोरेज और कंप्यूट का वैश्विक विस्तार किया, जिसमें नॉर्वे जैसे दूर के स्थान भी शामिल हैं, प्रोग्राम तेज़ी से उस डेटा से दूर चलने लगे जिसकी उन्हें ज़रूरत थी, और WAN बैंडविड्थ एक प्रमुख बाधा बन गई। जब साइटों के बीच का ट्रैफ़िक नेटवर्क पर भारी पड़ा, तो HRT को पता चला कि उसकी ऑब्ज़र्वेबिलिटी कमज़ोर थी और वह आसानी से यह नहीं जान सकता था कि इसके लिए कौन से उपयोगकर्ता और वर्कफ़्लो ज़िम्मेदार थे।

जांच एक धीमी मॉडल प्रशिक्षण रन से शुरू हुई। प्रोग्राम शिकागो में GPU का उपयोग करके न्यूयॉर्क के डेटा का विश्लेषण कर रहा था, जो Dupe Dog नाम की एक समर्पित क्रॉस-रीजन सेवा के माध्यम से मिरर किया जा रहा था। स्थानांतरण रुक गया, और डैशबोर्ड ने दिखाया कि स्थानांतरण दर तेज़ी से गिर गई है। Dupe Dog के अपने लॉग धीमी गति की व्याख्या नहीं कर सके, और कच्चे नेटवर्क स्विच काउंटरों ने ट्रैफ़िक का एक अज्ञात स्रोत दिखाया जो शिकागो की ओर जाने वाली क्षमता को पूरी तरह से संतृप्त कर रहा था। यह ट्रैफ़िक न तो Dupe Dog से आ रहा था और न ही वितरित फ़ाइल कैश Cashy से।

HRT शोधकर्ताओं को अपने उपकरण चुनने की व्यापक स्वतंत्रता देता है, इसलिए कई सेवाएँ नेटवर्क साझा करती हैं और सारा ट्रैफ़िक किसी एक लॉग की गई सेवा से होकर नहीं गुज़रता। जॉब सॉकेट, स्टोरेज क्रॉस-माउंट, सीधी फ़ाइल कॉपी या कस्टम वेब सर्वर के ज़रिए संवाद कर सकते हैं, जिससे इस अनजान लोड के लिए कई संभावित व्याख्याएँ बचती हैं।

उपयोग किए गए उपकरण की परवाह किए बिना उपयोगकर्ताओं और प्रोग्रामों को WAN उपयोग से जोड़ने के लिए, HRT ने eBPF के साथ व्यापक कैप्चर का सहारा लिया, और सेवा टेलीमेट्री को नेटवर्क हार्डवेयर बाइट काउंटरों के साथ जोड़ा ताकि यह दिखाया जा सके कि कौन से उपयोगकर्ता और प्रोग्राम सबसे अधिक ट्रैफ़िक उत्पन्न करते हैं।

Perdagangan HRT bergantung pada klaster komputasi riset yang besar, yang melatih model menggunakan bertahun-tahun riwayat bursa dan mensimulasikan skenario perdagangan di banyak CPU dan GPU. Ketika perusahaan memperluas penyimpanan dan komputasinya secara global, termasuk ke lokasi yang jauh seperti Norwegia, program semakin sering berjalan jauh dari data yang mereka butuhkan, dan bandwidth WAN menjadi kendala utama. Ketika lalu lintas antarsitus membebani jaringan, HRT menemukan bahwa observabilitasnya lemah dan tidak mudah menentukan pengguna dan alur kerja mana yang bertanggung jawab.

Penyelidikan dimulai dari proses pelatihan model yang lambat. Program tersebut menggunakan GPU di Chicago untuk menganalisis data dari New York, yang disalin melalui layanan lintas-wilayah khusus bernama Dupe Dog. Transfer terhenti dan dasbor menunjukkan laju transfer anjlok. Log Dupe Dog sendiri tidak menjelaskan perlambatan tersebut, dan penghitung mentah pada switch jaringan mengungkap sumber lalu lintas yang tidak diketahui, yang sepenuhnya memenuhi kapasitas menuju Chicago. Lalu lintas itu tidak berasal dari Dupe Dog maupun dari cache berkas terdistribusi Cashy.

HRT memberi peneliti kebebasan luas dalam memilih alat, sehingga banyak layanan berbagi jaringan dan tidak semua lalu lintas melewati satu layanan yang tercatat. Job dapat berkomunikasi melalui socket, cross-mount penyimpanan, penyalinan berkas langsung, atau server web kustom, sehingga ada banyak kemungkinan penjelasan untuk beban yang tidak terjelaskan ini.

Untuk menghubungkan pengguna dan program dengan penggunaan WAN apa pun alat yang dipakai, HRT beralih ke penangkapan menyeluruh dengan eBPF, menggabungkan telemetri layanan dengan penghitung byte perangkat keras jaringan untuk menunjukkan pengguna dan program mana yang menghasilkan lalu lintas paling besar.

HRTの取引は、大規模な研究用コンピュートクラスターに依存しています。このクラスターは、長年の取引所データの履歴を用いてモデルを訓練し、多数のCPUとGPUで取引シナリオをシミュレーションします。同社がストレージとコンピュートをノルウェーなどの遠隔地を含めて世界的に拡張するにつれ、プログラムは必要なデータから遠く離れた場所で実行されることが増え、WAN帯域幅が重要な制約となりました。拠点間のトラフィックがネットワークを圧迫したとき、HRTは自社のオブザーバビリティが弱く、どのユーザーとワークフローが原因なのかを容易に特定できないことに気づきました。

調査は、遅いモデル訓練の実行から始まりました。このプログラムは、シカゴのGPUを使って、Dupe Dogと呼ばれる専用のリージョン間サービスを介して複製されたニューヨークのデータを分析していました。転送は停滞し、ダッシュボードでは転送速度が大きく落ち込んでいることが示されました。Dupe Dog自身のログは減速を説明せず、生のネットワークスイッチのカウンターから、シカゴ向けの帯域を完全に飽和させている不明なトラフィック源が明らかになりました。そのトラフィックはDupe Dogからも、分散ファイルキャッシュのCashyからも来ていませんでした。

HRTは研究者にツールを選ぶ広い自由を与えているため、複数のサービスがネットワークを共有しており、すべてのトラフィックが1つの記録されたサービスを経由するわけではありません。ジョブはソケット、ストレージのクロスマウント、直接的なファイルコピー、カスタムのWebサーバーなどを通じて通信でき、説明のつかない負荷について多くの可能性が残されていました。

使用されたツールに関係なくユーザーとプログラムをWAN利用に結びつけるため、HRTはeBPFによる包括的なキャプチャに目を向け、サービスのテレメトリーとネットワークハードウェアのバイトカウンターを組み合わせて、どのユーザーとプログラムが最も多くのトラフィックを生み出しているかを示しました。

As operações de trading da HRT dependem de um grande cluster de computação para pesquisa, que treina modelos com anos de histórico de bolsa e simula cenários de negociação em muitas CPUs e GPUs. À medida que a empresa expandiu seu armazenamento e sua capacidade de computação globalmente, incluindo locais distantes como a Noruega, os programas passaram a rodar cada vez mais longe dos dados de que precisavam, e a largura de banda WAN tornou-se uma restrição-chave. Quando o tráfego entre sites sobrecarregou a rede, a HRT descobriu que sua observabilidade era fraca e não conseguia determinar facilmente quais usuários e fluxos de trabalho eram responsáveis.

A investigação começou com uma execução lenta de treinamento de modelo. O programa usava GPUs em Chicago para analisar dados de Nova York, espelhados por meio de um serviço dedicado entre regiões chamado Dupe Dog. A transferência travou e os painéis mostraram que a taxa de transferência havia despencado. Os próprios logs do Dupe Dog não explicavam a lentidão, e os contadores brutos dos switches de rede revelaram uma fonte desconhecida de tráfego saturando completamente a capacidade em direção a Chicago. O tráfego não vinha do Dupe Dog nem do cache de arquivos distribuído Cashy.

A HRT dá aos pesquisadores ampla liberdade para escolher suas ferramentas, de modo que vários serviços compartilham a rede e nem todo o tráfego passa por um único serviço registrado. Os jobs podem se comunicar por sockets, montagens cruzadas de armazenamento, cópias diretas de arquivos ou servidores web personalizados, o que deixa muitas explicações possíveis para aquela carga não explicada.

Para relacionar usuários e programas ao uso da WAN independentemente da ferramenta utilizada, a HRT recorreu à captura abrangente com eBPF, combinando a telemetria dos serviços com os contadores de bytes do hardware de rede para mostrar quais usuários e programas geram mais tráfego.

Торговля HRT опирается на большой исследовательский вычислительный кластер, который обучает модели на многолетней истории биржевых данных и моделирует торговые сценарии на множестве CPU и GPU. По мере того как компания расширяла хранилища и вычислительные мощности по всему миру, в том числе в такие удалённые места, как Норвегия, программы всё чаще работали далеко от нужных им данных, и пропускная способность WAN стала ключевым ограничением. Когда трафик между площадками перегрузил сеть, HRT обнаружила, что её возможности наблюдаемости слабы и не позволяют легко определить, какие пользователи и рабочие процессы за это отвечают.

Расследование началось с медленного запуска обучения модели. Программа использовала GPU в Чикаго для анализа данных из Нью-Йорка, которые реплицировались через выделенный межрегиональный сервис под названием Dupe Dog. Передача остановилась, а на панелях мониторинга было видно, что скорость резко упала. Собственные журналы Dupe Dog не объясняли замедления, а необработанные счётчики сетевых коммутаторов выявили неизвестный источник трафика, полностью занимавший канал в сторону Чикаго. Трафик шёл не от Dupe Dog и не от распределённого файлового кэша Cashy.

HRT предоставляет исследователям широкую свободу в выборе инструментов, поэтому множество сервисов используют одну сеть, и не весь трафик проходит через один журналируемый сервис. Задачи могут обмениваться данными через сокеты, перекрёстные монтирования хранилищ, прямое копирование файлов или собственные веб-серверы, что оставляет множество возможных объяснений для необъяснённой нагрузки.

Чтобы связать пользователей и программы с использованием WAN независимо от применяемого инструмента, HRT обратилась к полному захвату трафика с помощью eBPF, объединив телеметрию сервисов со счётчиками байтов сетевого оборудования, чтобы показать, какие пользователи и программы генерируют больше всего трафика.

HRT 的交易依赖一个庞大的研究计算集群，该集群基于多年的交易所历史数据训练模型，并在大量 CPU 和 GPU 上模拟交易场景。随着公司在全球范围扩展存储和计算能力，包括延伸至挪威等遥远地点，程序越来越多地运行在距离所需数据很远的地方，广域网带宽因此成为关键制约因素。当站点间流量压垮网络时，HRT 发现其可观测性很薄弱，难以轻松确定是哪些用户和工作流造成的。

调查始于一次缓慢的模型训练运行。该程序使用 芝加哥 的 GPU 分析来自 纽约 的数据，这些数据通过一项名为 Dupe Dog 的专用跨区域服务进行镜像。传输停滞，仪表板显示传输速率骤降。Dupe Dog 自身的日志无法解释这种减速，而原始网络交换机计数器显示，有一个未知的流量来源完全占满了通往芝加哥的链路容量。这些流量既不是来自 Dupe Dog，也不是来自分布式文件缓存 Cashy。

HRT 允许研究人员广泛自由地选择工具，因此多个服务共享网络，并非所有流量都经过单一的有日志记录的服务。作业可以通过套接字、存储交叉挂载、直接文件复制或自定义 Web 服务器进行通信，这使得对这一无法解释的负载存在许多可能的解释。

为了无论使用何种工具都能将用户和程序与广域网使用情况关联起来，HRT 转而采用基于 eBPF 的全面捕获技术，将服务遥测数据与网络硬件字节计数器相结合，以显示哪些用户和程序产生的流量最多。