Homa: The end of TCP for AI clusters [video]

This seems to overlook the massive (seriously, massive) limitation of requiring kernel/NIC/switch cooperation that hardware doesn't support at all yet. That's a huge level of coordination from theoretical hardware that just doesn't exist. And if you're going to map messages to priority schedules/queues, you'll have to map that somehow, with some large buffer/switch ready to prioritize smaller messages over large ones, etc. And then you're trusting that the grant/request round-trip machinery is lite enough to not create a new set of bottlenecks that supersede the existing RoCE implementation... it's probably possible to make Homa more efficient than sender-side protocols, but I'm really skeptical that it's worth the effort to get there instead of just continuing to scale up hardware to handle sender-side bottlenecks.

يبدو أن هذا يتجاهل القيد الهائل (بجدية، الهائل) المتمثل في الحاجة إلى تعاون kernel/NIC/switch الذي لا تدعمه الأجهزة على الإطلاق بعد. هذا مستوى ضخم من التنسيق من أجهزة نظرية غير موجودة ببساطة. وإذا كنت ستقوم بتعيين الرسائل إلى جداول/قوائم أولوية، فسيتعين عليك تعيين ذلك بطريقة ما، مع بعض المخازن المؤقتة/المفاتيح الكبيرة الجاهزة لتحديد أولوية الرسائل الصغيرة على الكبيرة، إلخ. ثم تثق في أن آلية رحلة الذهاب والإياب للمنح/الطلب خفيفة بما يكفي لعدم إنشاء مجموعة جديدة من الاختناقات التي تحل محل تنفيذ RoCE الحالي... من المحتمل أن يكون من الممكن جعل Homa أكثر كفاءة من بروتوكولات جانب المرسل، لكنني متشكك حقًا في أن الأمر يستحق الجهد للوصول إلى هناك بدلاً من الاستمرار في توسيع نطاق الأجهزة للتعامل مع اختناقات جانب المرسل.

এটি কার্নেল/NIC/সুইচ সহযোগিতার প্রয়োজনীয়তার বিশাল (সত্যিই, বিশাল) সীমাবদ্ধতাকে উপেক্ষা করে বলে মনে হচ্ছে যা হার্ডওয়্যার এখনও মোটেও সমর্থন করে না। এটি তাত্ত্বিক হার্ডওয়্যার থেকে সমন্বয়ের একটি বিশাল স্তর যা কেবল বিদ্যমান নয়। এবং যদি আপনি বার্তাগুলিকে অগ্রাধিকার সময়সূচী/কিউতে ম্যাপ করতে যাচ্ছেন, তবে আপনাকে সেটি কোনোভাবে ম্যাপ করতে হবে, কিছু বড় বাফার/সুইচ প্রস্তুত রেখে ছোট বার্তাগুলিকে বড়গুলির উপর অগ্রাধিকার দিতে, ইত্যাদি। এবং তারপর আপনি বিশ্বাস করছেন যে গ্রান্ট/রিকোয়েস্ট রাউন্ড-ট্রিপ মেশিনারি যথেষ্ট হালকা যাতে বিদ্যমান RoCE বাস্তবায়নকে অতিক্রম করে নতুন বাধার সেট তৈরি না করে... সম্ভবত Homa-কে প্রেরক-পক্ষের প্রোটোকলের চেয়ে বেশি দক্ষ করা সম্ভব, কিন্তু আমি সত্যিই সন্দিহান যে প্রেরক-পক্ষের বাধাগুলি পরিচালনা করার জন্য হার্ডওয়্যার স্কেল করা চালিয়ে যাওয়ার পরিবর্তে সেখানে পৌঁছানোর প্রচেষ্টা মূল্যবান কিনা।

Dies scheint die massive (wirklich massive) Einschränkung zu übersehen, dass Kernel/NIC/Switch-Kooperation erforderlich ist, die Hardware noch gar nicht unterstützt. Das ist ein enormes Maß an Koordination von theoretischer Hardware, die einfach nicht existiert. Und wenn Sie Nachrichten auf Prioritätspläne/-warteschlangen abbilden wollen, müssen Sie das irgendwie abbilden, mit einem großen Puffer/Switch, der bereit ist, kleine Nachrichten gegenüber großen zu priorisieren usw.

Und dann vertrauen Sie darauf, dass der Grant/Request-Roundtrip-Mechanismus leicht genug ist, um keine neuen Engpässe zu schaffen, die die bestehende RoCE-Implementierung übertreffen... es ist wahrscheinlich möglich, Homa effizienter zu machen als sender-seitige Protokolle, aber ich bin wirklich skeptisch, ob es die Mühe wert ist, dorthin zu gelangen, anstatt einfach weiter Hardware zu skalieren, um sender-seitige Engpässe zu bewältigen.

Esto parece pasar por alto la limitación masiva (en serio, masiva) de requerir cooperación kernel/NIC/switch que el hardware aún no soporta en absoluto. Eso es un nivel enorme de coordinación de hardware teórico que simplemente no existe. Y si vas a mapear mensajes a horarios/colas de prioridad, tendrás que mapear eso de alguna manera, con algún búfer/switch grande listo para priorizar mensajes pequeños sobre grandes, etc. Y luego confías en que el mecanismo de ida y vuelta de concesión/solicitud sea lo suficientemente ligero como para no crear un nuevo conjunto de cuellos de botella que superen la implementación existente de RoCE... probablemente sea posible hacer que Homa sea más eficiente que los protocolos del lado del emisor, pero realmente soy escéptico de que valga la pena el esfuerzo para llegar allí en lugar de seguir escalando hardware para manejar los cuellos de botella del lado del emisor.

Cela semble ignorer la limitation massive (vraiment, massive) de nécessiter une coopération kernel/NIC/switch que le matériel ne supporte pas du tout encore. C'est un énorme niveau de coordination à partir de matériel théorique qui n'existe tout simplement pas. Et si vous allez mapper les messages à des horaires/files d'attente de priorité, vous devrez mapper cela d'une manière ou d'une autre, avec un grand tampon/commutateur prêt à prioriser les petits messages sur les grands, etc. Et ensuite, vous faites confiance au mécanisme d'aller-retour de concession/demande pour être assez léger pour ne pas créer un nouvel ensemble de goulots d'étranglement qui surpassent l'implémentation RoCE existante... il est probablement possible de rendre Homa plus efficace que les protocoles côté expéditeur, mais je suis vraiment sceptique que cela vaille l'effort d'y arriver au lieu de continuer à augmenter le matériel pour gérer les goulots d'étranglement côté expéditeur.

यह कर्नेल/NIC/स्विच सहयोग की आवश्यकता की भारी (वास्तव में, भारी) सीमा को नजरअंदाज करता प्रतीत होता है जो हार्डवेयर अभी तक बिल्कुल समर्थन नहीं करता। यह सैद्धांतिक हार्डवेयर से समन्वय का एक बड़ा स्तर है जो बस मौजूद नहीं है। और यदि आप संदेशों को प्राथमिकता अनुसूचियों/कतारों में मैप करने जा रहे हैं, तो आपको इसे किसी तरह मैप करना होगा, कुछ बड़े बफर/स्विच के साथ छोटे संदेशों को बड़े पर प्राथमिकता देने के लिए तैयार, आदि। और फिर आप भरोसा कर रहे हैं कि अनुदान/अनुरोध राउंड-ट्रिप तंत्र इतना हल्का है कि मौजूदा RoCE कार्यान्वयन को पार करने वाली बाधाओं का एक नया सेट नहीं बनाता... संभवतः Homa को प्रेषक-पक्ष प्रोटोकॉल से अधिक कुशल बनाना संभव है, लेकिन मैं वास्तव में संदेह में हूं कि प्रेषक-पक्ष की बाधाओं को संभालने के लिए हार्डवेयर को स्केल करना जारी रखने के बजाय वहां पहुंचने का प्रयास करना उचित है।

Ini tampaknya mengabaikan keterbatasan besar (serius, besar) yang memerlukan kerja sama kernel/NIC/switch yang belum didukung perangkat keras sama sekali. Itu adalah tingkat koordinasi yang sangat besar dari perangkat keras teoretis yang tidak ada. Dan jika Anda akan memetakan pesan ke jadwal/antrian prioritas, Anda harus memetakannya entah bagaimana, dengan beberapa buffer/switch besar yang siap memprioritaskan pesan kecil daripada yang besar, dll.

Dan kemudian Anda percaya bahwa mekanisme perjalanan pulang-pergi grant/request cukup ringan untuk tidak menciptakan serangkaian hambatan baru yang melampaui implementasi RoCE yang ada... mungkin mungkin untuk membuat Homa lebih efisien daripada protokol sisi pengirim, tetapi saya benar-benar skeptis bahwa itu sepadan dengan usaha untuk sampai ke sana daripada terus meningkatkan skala perangkat keras untuk menangani hambatan sisi pengirim.

これは、ハードウェアがまだまったくサポートしていないカーネル/NIC/スイッチの連携を必要とするという巨大な（本当に巨大な）制限を見落としているようです。それは、存在しない理論上のハードウェアからの膨大なレベルの調整です。また、メッセージを優先スケジュール/キューにマッピングする場合、何らかの方法でそれをマッピングし、大きなバッファ/スイッチを用意して小さなメッセージを大きなメッセージより優先するなどする必要があります。そして、許可/要求のラウンドトリップ機構が、既存のRoCE実装を凌駕する新たなボトルネックのセットを作り出さないほど軽量であると信頼することになります... Homaを送信側プロトコルよりも効率的にすることはおそらく可能ですが、送信側のボトルネックを処理するためにハードウェアをスケールアップし続ける代わりにそこに到達するための努力が価値があるかどうか、私は本当に懐疑的です。

Isso parece ignorar a limitação massiva (sério, massiva) de exigir cooperação kernel/NIC/switch que o hardware ainda não suporta. Isso é um enorme nível de coordenação de hardware teórico que simplesmente não existe. E se você vai mapear mensagens para horários/filas de prioridade, terá que mapear isso de alguma forma, com algum buffer/switch grande pronto para priorizar mensagens pequenas sobre grandes, etc. E então você está confiando que o mecanismo de ida e volta de concessão/solicitação é leve o suficiente para não criar um novo conjunto de gargalos que superem a implementação RoCE existente... provavelmente é possível tornar Homa mais eficiente que protocolos do lado do remetente, mas estou realmente cético de que vale a pena o esforço para chegar lá em vez de continuar escalando hardware para lidar com gargalos do lado do remetente.

Это, похоже, упускает из виду огромное (серьезно, огромное) ограничение, требующее взаимодействия kernel/NIC/switch, которое оборудование пока вообще не поддерживает. Это огромный уровень координации с теоретическим оборудованием, которого просто не существует. И если вы собираетесь сопоставлять сообщения с приоритетными расписаниями/очередями, вам придется как-то это сопоставить, с большим буфером/коммутатором, готовым отдавать приоритет малым сообщениям перед большими и т.д. А затем вы доверяете, что механизм запросов/предоставлений достаточно легок, чтобы не создать новый набор узких мест, превосходящих существующую реализацию RoCE... возможно, можно сделать Homa более эффективным, чем протоколы на стороне отправителя, но я очень скептически настроен, что стоит прилагать усилия для этого, вместо того чтобы продолжать масштабировать оборудование для обработки узких мест на стороне отправителя.

这似乎忽略了需要内核/NIC/交换机协作的巨大（真的，巨大）限制，而硬件目前根本不支持。这需要理论上的硬件进行大量协调，而这种硬件根本不存在。而且，如果你要将消息映射到优先级调度/队列，你必须以某种方式映射，准备一些大的缓冲区/交换机来优先处理小消息而不是大消息等。然后，你还要相信授权/请求往返机制足够轻量，不会产生一系列新的瓶颈，取代现有的RoCE实现……可能有可能让Homa比发送端协议更高效，但我非常怀疑是否值得付出努力去实现这一点，而不是继续扩展硬件来处理发送端瓶颈。