HRTの取引は、大規模な研究用コンピュートクラスターに依存しています。このクラスターは、長年の取引所データの履歴を用いてモデルを訓練し、多数のCPUとGPUで取引シナリオをシミュレーションします。同社がストレージとコンピュートをノルウェーなどの遠隔地を含めて世界的に拡張するにつれ、プログラムは必要なデータから遠く離れた場所で実行されることが増え、WAN帯域幅が重要な制約となりました。拠点間のトラフィックがネットワークを圧迫したとき、HRTは自社のオブザーバビリティが弱く、どのユーザーとワークフローが原因なのかを容易に特定できないことに気づきました。
調査は、遅いモデル訓練の実行から始まりました。このプログラムは、シカゴのGPUを使って、Dupe Dogと呼ばれる専用のリージョン間サービスを介して複製されたニューヨークのデータを分析していました。転送は停滞し、ダッシュボードでは転送速度が大きく落ち込んでいることが示されました。Dupe Dog自身のログは減速を説明せず、生のネットワークスイッチのカウンターから、シカゴ向けの帯域を完全に飽和させている不明なトラフィック源が明らかになりました。そのトラフィックはDupe Dogからも、分散ファイルキャッシュのCashyからも来ていませんでした。
HRTは研究者にツールを選ぶ広い自由を与えているため、複数のサービスがネットワークを共有しており、すべてのトラフィックが1つの記録されたサービスを経由するわけではありません。ジョブはソケット、ストレージのクロスマウント、直接的なファイルコピー、カスタムのWebサーバーなどを通じて通信でき、説明のつかない負荷について多くの可能性が残されていました。
使用されたツールに関係なくユーザーとプログラムをWAN利用に結びつけるため、HRTはeBPFによる包括的なキャプチャに目を向け、サービスのテレメトリーとネットワークハードウェアのバイトカウンターを組み合わせて、どのユーザーとプログラムが最も多くのトラフィックを生み出しているかを示しました。
出典: Hacker News · 要約：HeadlinesBriefing