HRT-এর ট্রেডিং একটি বড় গবেষণা কম্পিউট ক্লাস্টারের ওপর নির্ভরশীল, যা বছরের পর বছরের এক্সচেঞ্জের ইতিহাসের ওপর মডেল প্রশিক্ষণ দেয় এবং বহু CPU ও GPU জুড়ে ট্রেডিং পরিস্থিতির সিমুলেশন চালায়। কোম্পানি যখন বিশ্বজুড়ে তার স্টোরেজ ও কম্পিউটিং সম্প্রসারণ করল, যার মধ্যে নরওয়ের মতো দূরবর্তী স্থানও ছিল, তখন প্রোগ্রামগুলো ক্রমশ এমন জায়গায় চলতে লাগল যেখান থেকে প্রয়োজনীয় ডেটা অনেক দূরে ছিল, এবং WAN ব্যান্ডউইথ একটি প্রধান সীমাবদ্ধতায় পরিণত হলো। সাইটগুলোর মধ্যকার ট্রাফিক যখন নেটওয়ার্ককে ভারাক্রান্ত করে তুলল, তখন HRT দেখল যে তার পর্যবেক্ষণ ব্যবস্থা দুর্বল এবং কোন ব্যবহারকারী ও ওয়ার্কফ্লো এর জন্য দায়ী, তা সহজে নির্ধারণ করা যাচ্ছে না।
তদন্ত শুরু হয় একটি ধীরগতির মডেল প্রশিক্ষণ রান দিয়ে। প্রোগ্রামটি শিকাগো-র GPU ব্যবহার করে নিউ ইয়র্ক-এর ডেটা বিশ্লেষণ করছিল, যা Dupe Dog নামে একটি নির্দিষ্ট আন্তঃ-অঞ্চল সার্ভিসের মাধ্যমে মিরর হচ্ছিল। স্থানান্তর থেমে যায় এবং ড্যাশবোর্ডে দেখা যায় স্থানান্তর হার ধসে পড়েছে। Dupe Dog-এর নিজস্ব লগ এই মন্থরতার ব্যাখ্যা দিতে পারেনি, আর কাঁচা নেটওয়ার্ক সুইচ কাউন্টারগুলো দেখাল, অজানা একটি উৎস থেকে আসা ট্রাফিক শিকাগোমুখী ধারণক্ষমতাকে পুরোপুরি পূর্ণ করে রেখেছে। ট্রাফিকটি Dupe Dog বা বিতরিত ফাইল ক্যাশ Cashy থেকে আসছিল না।
HRT গবেষকদের নিজেদের টুল বেছে নেওয়ার ব্যাপক স্বাধীনতা দেয়, তাই একাধিক সার্ভিস নেটওয়ার্ক ভাগ করে নেয় এবং সব ট্রাফিক একটিমাত্র লগ-করা সার্ভিসের মধ্য দিয়ে যায় না। জব সকেট, স্টোরেজ ক্রস-মাউন্ট, সরাসরি ফাইল কপি বা কাস্টম ওয়েব সার্ভারের মাধ্যমে যোগাযোগ করতে পারে, যার ফলে এই অব্যাখ্যাত লোডের অনেক সম্ভাব্য ব্যাখ্যা থেকে যায়।
ব্যবহৃত টুল যা-ই হোক না কেন, ব্যবহারকারী ও প্রোগ্রামগুলোকে WAN ব্যবহারের সঙ্গে যুক্ত করতে HRT eBPF দিয়ে ব্যাপক ক্যাপচারের দিকে ঝোঁকে এবং সার্ভিস টেলিমেট্রিকে নেটওয়ার্ক হার্ডওয়্যার বাইট কাউন্টারের সঙ্গে যুক্ত করে দেখায় কোন ব্যবহারকারী ও প্রোগ্রাম সবচেয়ে বেশি ট্রাফিক তৈরি করছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing