HRT की ट्रेडिंग एक बड़े शोध कंप्यूट क्लस्टर पर निर्भर है, जो एक्सचेंज के वर्षों के इतिहास पर मॉडल प्रशिक्षित करता है और कई CPU और GPU पर ट्रेडिंग परिदृश्यों का सिमुलेशन करता है। जैसे-जैसे कंपनी ने अपने स्टोरेज और कंप्यूट का वैश्विक विस्तार किया, जिसमें नॉर्वे जैसे दूर के स्थान भी शामिल हैं, प्रोग्राम तेज़ी से उस डेटा से दूर चलने लगे जिसकी उन्हें ज़रूरत थी, और WAN बैंडविड्थ एक प्रमुख बाधा बन गई। जब साइटों के बीच का ट्रैफ़िक नेटवर्क पर भारी पड़ा, तो HRT को पता चला कि उसकी ऑब्ज़र्वेबिलिटी कमज़ोर थी और वह आसानी से यह नहीं जान सकता था कि इसके लिए कौन से उपयोगकर्ता और वर्कफ़्लो ज़िम्मेदार थे।
जांच एक धीमी मॉडल प्रशिक्षण रन से शुरू हुई। प्रोग्राम शिकागो में GPU का उपयोग करके न्यूयॉर्क के डेटा का विश्लेषण कर रहा था, जो Dupe Dog नाम की एक समर्पित क्रॉस-रीजन सेवा के माध्यम से मिरर किया जा रहा था। स्थानांतरण रुक गया, और डैशबोर्ड ने दिखाया कि स्थानांतरण दर तेज़ी से गिर गई है। Dupe Dog के अपने लॉग धीमी गति की व्याख्या नहीं कर सके, और कच्चे नेटवर्क स्विच काउंटरों ने ट्रैफ़िक का एक अज्ञात स्रोत दिखाया जो शिकागो की ओर जाने वाली क्षमता को पूरी तरह से संतृप्त कर रहा था। यह ट्रैफ़िक न तो Dupe Dog से आ रहा था और न ही वितरित फ़ाइल कैश Cashy से।
HRT शोधकर्ताओं को अपने उपकरण चुनने की व्यापक स्वतंत्रता देता है, इसलिए कई सेवाएँ नेटवर्क साझा करती हैं और सारा ट्रैफ़िक किसी एक लॉग की गई सेवा से होकर नहीं गुज़रता। जॉब सॉकेट, स्टोरेज क्रॉस-माउंट, सीधी फ़ाइल कॉपी या कस्टम वेब सर्वर के ज़रिए संवाद कर सकते हैं, जिससे इस अनजान लोड के लिए कई संभावित व्याख्याएँ बचती हैं।
उपयोग किए गए उपकरण की परवाह किए बिना उपयोगकर्ताओं और प्रोग्रामों को WAN उपयोग से जोड़ने के लिए, HRT ने eBPF के साथ व्यापक कैप्चर का सहारा लिया, और सेवा टेलीमेट्री को नेटवर्क हार्डवेयर बाइट काउंटरों के साथ जोड़ा ताकि यह दिखाया जा सके कि कौन से उपयोगकर्ता और प्रोग्राम सबसे अधिक ट्रैफ़िक उत्पन्न करते हैं।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित