يعتمد تداول HRT على مجموعة حوسبة بحثية كبيرة، تُدرّب النماذج على سنوات من سجل البورصة وتحاكي سيناريوهات التداول عبر عدد كبير من وحدات المعالجة المركزية ووحدات معالجة الرسوميات. ومع توسّع الشركة في التخزين والحوسبة على مستوى العالم، بما في ذلك مواقع بعيدة مثل النرويج، صارت البرامج تعمل بشكل متزايد بعيدًا عن البيانات التي تحتاجها، وأصبح عرض النطاق الترددي لشبكة WAN قيدًا رئيسيًا. وعندما أثقلت حركة المرور بين المواقع كاهل الشبكة، اكتشفت HRT أن قدرتها على المراقبة ضعيفة، ولم تتمكن بسهولة من تحديد المستخدمين وسير العمل المسؤولين عن ذلك.
بدأ التحقيق بتشغيل بطيء لتدريب نموذج. كان البرنامج يستخدم وحدات معالجة رسوميات في شيكاغو لتحليل بيانات من نيويورك، والتي كانت تُنسخ عبر خدمة مخصصة بين المناطق تُسمى Dupe Dog. توقف النقل، وأظهرت لوحات المراقبة انهيار معدل النقل. ولم تفسر سجلات Dupe Dog نفسها هذا البطء، كما كشفت عدادات مفاتيح الشبكة الخام عن مصدر مجهول للحركة يُشبع السعة المتجهة إلى شيكاغو بالكامل. ولم تكن الحركة قادمة من Dupe Dog أو من ذاكرة الملفات الموزعة Cashy.
تمنح HRT الباحثين حرية واسعة في اختيار أدواتهم، لذلك تتشارك عدة خدمات الشبكة، ولا تمر كل الحركة عبر خدمة واحدة مسجلة. يمكن للمهام أن تتواصل عبر المقابس، أو التركيبات المتقاطعة للتخزين، أو نسخ الملفات المباشر، أو خوادم الويب المخصصة، مما يترك احتمالات كثيرة لتفسير هذا الحمل غير المفسر.
ولربط المستخدمين والبرامج باستخدام شبكة WAN بغض النظر عن الأداة المستخدمة، لجأت HRT إلى التقاط شامل باستخدام eBPF، مع دمج قياسات الخدمات مع عدادات بايتات أجهزة الشبكة لإظهار المستخدمين والبرامج التي تولّد أكبر قدر من الحركة.
المصدر: Hacker News · لخّصه HeadlinesBriefing