Voting on Features: Federated Feature Selection Without Sharing Data

Hospitals, banks and edge devices often want to train one model together, but their tables share a schema while their rows must stay private. This setting, horizontal federated learning, usually relies on Fed Avg, which averages weights from each site. Fed Avg never asks which features belong in the model, so every irrelevant column is carried through every update and adds noise that smaller sites feel most.

Feature Election, a method developed for this gap, asks for less than most research on federated feature selection. Instead of adopting a new purpose-built algorithm, each site keeps the ordinary selector it already trusts, such as a Lasso, random forest importances or mutual information, runs it on its own rows and sends a vote. Each site sends a binary mask of kept features, a vector of preference scores and its sample count. No rows or gradients leave the site during the election.

The server keeps features that every site selected and drops those that no site selected. Contested features go to a vote weighted by site size, and a single tunable parameter called the freedom degree decides how many of them enter the model. Every site then applies the resulting global mask to its columns, and ordinary federated training runs on the reduced table.

The approach is implemented in NumPy and demonstrated as a job in NVIDIA FLARE, with code also shown for Flower.

تسعى المستشفيات والبنوك والأجهزة الطرفية غالبًا إلى تدريب نموذج واحد معًا، لكن جداولها تشترك في المخطط بينما يجب أن تبقى صفوفها خاصة. يُعرف هذا النمط بالتعلم الموحّد الأفقي، ويعتمد عادةً على Fed Avg، الذي يحسب متوسط الأوزان من كل موقع. ولا يسأل Fed Avg أبدًا عن الميزات التي ينبغي أن تدخل النموذج، لذلك يُحمل كل عمود غير ذي صلة عبر كل تحديث ويضيف ضوضاء تشعر بها المواقع الأصغر أكثر من غيرها.

تطلب Feature Election، وهي طريقة طُورت لسد هذه الفجوة، قدرًا أقل مما تطلبه معظم الأبحاث حول اختيار الميزات الموحّد. فبدلًا من اعتماد خوارزمية جديدة مخصصة، يحتفظ كل موقع بأداة الاختيار المعتادة التي يثق بها، مثل Lasso أو أهمية الغابة العشوائية أو المعلومات المتبادلة، ويشغّلها على صفوفه الخاصة ويرسل صوتًا. يرسل كل موقع قناعًا ثنائيًا للميزات المختارة، ومتجهًا لدرجات التفضيل، وعدد عيّناته. ولا تغادر أي صفوف أو تدرجات الموقع أثناء الانتخاب.

يحتفظ الخادم بالميزات التي اختارها كل المواقع ويسقط تلك التي لم يخترها أي موقع. أما الميزات المتنازع عليها فتذهب إلى تصويت موزون بحجم الموقع، ويحدد معامل قابل للضبط يُسمى درجة الحرية عدد هذه الميزات التي تدخل النموذج. ثم يطبق كل موقع القناع العام الناتج على أعمدته، ويجري التدريب الموحّد المعتاد على الجدول المخفّض.

تم تنفيذ الطريقة بلغة NumPy وعرضها كمهمة في NVIDIA FLARE، مع عرض الكود الخاص بـ Flower أيضًا.

হাসপাতাল, ব্যাংক ও এজ ডিভাইস প্রায়ই একসাথে একটি মডেল প্রশিক্ষণ দিতে চায়, কিন্তু তাদের টেবিলের স্কিমা এক হলেও সারিগুলো গোপন রাখতে হয়। এই পরিস্থিতিকে হরিজন্টাল ফেডারেটেড লার্নিং বলা হয়, এবং এটি সাধারণত Fed Avg-এর উপর নির্ভর করে, যা প্রতিটি সাইটের ওজনের গড় নেয়। Fed Avg কখনো জিজ্ঞাসা করে না কোন ফিচারগুলো মডেলে থাকা উচিত, তাই প্রতিটি অপ্রাসঙ্গিক কলাম প্রতিটি আপডেটে বয়ে যায় এবং শব্দ যোগ করে, যা ছোট সাইটগুলো সবচেয়ে বেশি অনুভব করে।

এই ফাঁক পূরণের জন্য তৈরি Feature Election পদ্ধতিটি ফেডারেটেড ফিচার নির্বাচন নিয়ে বেশিরভাগ গবেষণার চেয়ে কম কিছু চায়। নতুন কোনো বিশেষ অ্যালগরিদম গ্রহণের বদলে, প্রতিটি সাইট তার আগে থেকেই বিশ্বাস করা সাধারণ সিলেক্টর রাখে, যেমন Lasso, র্যান্ডম ফরেস্টের গুরুত্ব বা মিউচুয়াল ইনফরমেশন, সেটি নিজের সারিগুলোতে চালায় এবং একটি ভোট পাঠায়। প্রতিটি সাইট নির্বাচিত ফিচারের একটি বাইনারি মাস্ক, পছন্দ-স্কোরের একটি ভেক্টর এবং তার নমুনা সংখ্যা পাঠায়। নির্বাচনের সময় কোনো সারি বা গ্রেডিয়েন্ট সাইট থেকে বের হয় না।

সার্ভার সেই ফিচারগুলো রাখে যেগুলো সব সাইট নির্বাচন করেছে এবং যেগুলো কোনো সাইট নির্বাচন করেনি সেগুলো বাদ দেয়। বিতর্কিত ফিচারগুলো সাইটের আকার অনুযায়ী ওজনযুক্ত ভোটে যায়, এবং "ফ্রিডম ডিগ্রি" নামের একটি সমন্বয়যোগ্য প্যারামিটার ঠিক করে তাদের কতগুলো মডেলে ঢুকবে। এরপর প্রতিটি সাইট তার কলামগুলোতে ফলস্বরূপ গ্লোবাল মাস্ক প্রয়োগ করে এবং হ্রাসকৃত টেবিলে স্বাভাবিক ফেডারেটেড প্রশিক্ষণ চলে।

পদ্ধতিটি NumPy-তে বাস্তবায়িত এবং NVIDIA FLARE-এ একটি জব হিসেবে প্রদর্শিত, সাথে Flower-এর জন্য কোডও দেখানো হয়েছে।

Krankenhäuser, Banken und Edge-Geräte wollen oft gemeinsam ein Modell trainieren, doch ihre Tabellen teilen zwar ein Schema, ihre Zeilen müssen aber privat bleiben. Dieses Szenario, das horizontale föderierte Lernen, stützt sich meist auf Fed Avg, das die Gewichte jedes Standorts mittelt. Fed Avg fragt nie, welche Merkmale in das Modell gehören, sodass jede irrelevante Spalte in jede Aktualisierung mitgeschleppt wird und Rauschen hinzufügt, das kleinere Standorte am stärksten spüren.

Feature Election, eine Methode, die für diese Lücke entwickelt wurde, verlangt weniger als die meisten Forschungsarbeiten zur föderierten Merkmalsauswahl. Anstatt einen neuen, eigens entwickelten Algorithmus zu übernehmen, behält jeder Standort den gewöhnlichen Selektor, dem er vertraut, etwa Lasso, Random-Forest-Wichtigkeiten oder gegenseitige Information, führt ihn auf seinen eigenen Zeilen aus und sendet eine Stimme. Jeder Standort sendet eine binäre Maske der behaltenen Merkmale, einen Vektor von Präferenzwerten und seine Stichprobenzahl. Während der Wahl verlassen weder Zeilen noch Gradienten den Standort.

Der Server behält Merkmale, die alle Standorte gewählt haben, und verwirft solche, die kein Standort gewählt hat. Umstrittene Merkmale gehen in eine nach Standortgröße gewichtete Abstimmung, und ein einstellbarer Parameter namens Freiheitsgrad bestimmt, wie viele davon ins Modell eingehen. Danach wendet jeder Standort die resultierende globale Maske auf seine Spalten an, und das übliche föderierte Training läuft auf der reduzierten Tabelle.

Der Ansatz ist in NumPy implementiert und wird als Job in NVIDIA FLARE vorgeführt, außerdem ist Code für Flower gezeigt.

Hospitales, bancos y dispositivos de borde suelen querer entrenar juntos un modelo, pero sus tablas comparten un esquema mientras que sus filas deben permanecer privadas. Este escenario, el aprendizaje federado horizontal, suele apoyarse en Fed Avg, que promedia los pesos de cada sitio. Fed Avg nunca pregunta qué características deben formar parte del modelo, así que cada columna irrelevante se arrastra en cada actualización y añade ruido que más sienten los sitios más pequeños.

Feature Election, un método desarrollado para cubrir esta brecha, pide menos que la mayoría de las investigaciones sobre selección federada de características. En lugar de adoptar un algoritmo nuevo y específico, cada sitio conserva el selector habitual en el que ya confía, como Lasso, las importancias de un bosque aleatorio o la información mutua, lo ejecuta sobre sus propias filas y envía un voto. Cada sitio envía una máscara binaria de las características conservadas, un vector de puntuaciones de preferencia y su número de muestras. Durante la elección no sale del sitio ninguna fila ni gradiente.

El servidor conserva las características que todos los sitios seleccionaron y descarta las que ningún sitio seleccionó. Las características disputadas pasan a una votación ponderada por el tamaño de cada sitio, y un único parámetro ajustable llamado grado de libertad decide cuántas de ellas entran en el modelo. Después, cada sitio aplica la máscara global resultante a sus columnas y se ejecuta el entrenamiento federado habitual sobre la tabla reducida.

El enfoque está implementado en NumPy y se demuestra como un trabajo en NVIDIA FLARE, con código también mostrado para Flower.

Les hôpitaux, les banques et les appareils en périphérie souhaitent souvent entraîner ensemble un même modèle, mais leurs tables partagent un schéma tandis que leurs lignes doivent rester privées. Ce cadre, l'apprentissage fédéré horizontal, repose généralement sur Fed Avg, qui moyenne les poids de chaque site. Fed Avg ne se demande jamais quelles variables doivent figurer dans le modèle : chaque colonne non pertinente est donc transportée à chaque mise à jour et ajoute du bruit, ressenti surtout par les plus petits sites.

Feature Election, une méthode conçue pour combler ce manque, demande moins que la plupart des travaux de recherche sur la sélection fédérée de variables. Plutôt que d'adopter un algorithme nouveau et dédié, chaque site conserve le sélecteur ordinaire auquel il fait confiance, comme Lasso, les importances de forêt aléatoire ou l'information mutuelle, l'exécute sur ses propres lignes et envoie un vote. Chaque site transmet un masque binaire des variables retenues, un vecteur de scores de préférence et son nombre d'échantillons. Aucune ligne ni aucun gradient ne quitte le site pendant l'élection.

Le serveur conserve les variables que tous les sites ont sélectionnées et écarte celles qu'aucun site n'a retenues. Les variables contestées sont soumises à un vote pondéré par la taille des sites, et un paramètre ajustable appelé degré de liberté détermine combien d'entre elles entrent dans le modèle. Chaque site applique ensuite le masque global obtenu à ses colonnes, et l'entraînement fédéré classique s'exécute sur la table réduite.

L'approche est implémentée en NumPy et présentée comme une tâche dans NVIDIA FLARE, avec également du code pour Flower.

अस्पताल, बैंक और एज डिवाइस अक्सर एक साथ एक मॉडल प्रशिक्षित करना चाहते हैं, लेकिन उनकी तालिकाओं का स्कीमा एक जैसा होता है जबकि उनकी पंक्तियाँ निजी रहनी चाहिए। इस स्थिति को हॉरिजॉन्टल फेडरेटेड लर्निंग कहा जाता है, और यह आम तौर पर Fed Avg पर निर्भर करती है, जो हर साइट के वज़न का औसत निकालती है। Fed Avg कभी यह नहीं पूछता कि मॉडल में कौन-से फीचर होने चाहिए, इसलिए हर अप्रासंगिक कॉलम हर अपडेट में आगे बढ़ता रहता है और शोर जोड़ता है, जिसे छोटी साइटें सबसे ज़्यादा महसूस करती हैं।

इस कमी को दूर करने के लिए विकसित फीचर इलेक्शन विधि फेडरेटेड फीचर चयन के अधिकांश शोध की तुलना में कम माँगती है। किसी नए विशेष एल्गोरिदम को अपनाने के बजाय, हर साइट अपना पहले से भरोसेमंद सामान्य सेलेक्टर रखती है, जैसे Lasso, रैंडम फ़ॉरेस्ट इम्पोर्टेंस या म्यूचुअल इन्फॉर्मेशन, उसे अपनी पंक्तियों पर चलाती है और एक वोट भेजती है। हर साइट चुने गए फीचर का बाइनरी मास्क, प्राथमिकता स्कोर का वेक्टर और अपनी नमूना संख्या भेजती है। चुनाव के दौरान कोई पंक्ति या ग्रेडिएंट साइट से बाहर नहीं जाता।

सर्वर वे फीचर रखता है जिन्हें सभी साइटों ने चुना है और उन्हें हटाता है जिन्हें किसी ने नहीं चुना। विवादित फीचर साइट के आकार से भारित वोटिंग में जाते हैं, और "फ्रीडम डिग्री" नाम का एक समायोज्य पैरामीटर तय करता है कि उनमें से कितने मॉडल में शामिल होंगे। इसके बाद हर साइट अपने कॉलमों पर परिणामी वैश्विक मास्क लागू करती है और कम किए गए टेबल पर सामान्य फेडरेटेड प्रशिक्षण चलता है।

यह तरीका NumPy में लागू किया गया है और NVIDIA FLARE में एक जॉब के रूप में प्रदर्शित किया गया है, साथ ही Flower के लिए भी कोड दिखाया गया है।

Rumah sakit, bank, dan perangkat edge sering ingin melatih satu model bersama, tetapi tabel mereka berbagi skema sementara barisnya harus tetap privat. Kondisi ini, yang disebut federated learning horizontal, biasanya mengandalkan Fed Avg, yang merata-ratakan bobot dari setiap situs. Fed Avg tidak pernah menanyakan fitur mana yang seharusnya masuk ke model, sehingga setiap kolom yang tidak relevan terbawa di setiap pembaruan dan menambah noise yang paling dirasakan oleh situs kecil.

Feature Election, metode yang dikembangkan untuk mengisi celah ini, meminta lebih sedikit dibandingkan kebanyakan penelitian tentang seleksi fitur federated. Alih-alih mengadopsi algoritma baru yang dibuat khusus, setiap situs tetap menggunakan selektor biasa yang sudah dipercaya, seperti Lasso, importance random forest, atau mutual information, menjalankannya pada barisnya sendiri, dan mengirimkan satu suara. Setiap situs mengirim masker biner dari fitur yang dipertahankan, vektor skor preferensi, dan jumlah sampelnya. Tidak ada baris data atau gradien yang meninggalkan situs selama pemilihan.

Server mempertahankan fitur yang dipilih oleh semua situs dan membuang fitur yang tidak dipilih oleh satu situs pun. Fitur yang diperebutkan masuk ke voting berbobot ukuran situs, dan satu parameter yang dapat diatur bernama freedom degree menentukan berapa banyak fitur tersebut yang masuk ke model. Setiap situs kemudian menerapkan masker global yang dihasilkan pada kolomnya, lalu pelatihan federated biasa berjalan pada tabel yang sudah dikecilkan.

Pendekatan ini diimplementasikan dengan NumPy dan didemonstrasikan sebagai job di NVIDIA FLARE, dengan kode untuk Flower juga ditampilkan.

病院、銀行、エッジデバイスは、同じスキーマを持つ表データを用いて一つのモデルを共同で学習したいと考えることが多いものの、行データは非公開に保つ必要があります。このような水平連合学習は、一般に各拠点の重みを平均するFed Avgに依存しています。Fed Avgはどの特徴量をモデルに含めるべきかを一切判断しないため、無関係な列はすべての更新で引き継がれ、小規模な拠点ほど強く感じるノイズを加えてしまいます。

この課題の解決のために開発されたFeature Electionは、連合型特徴量選択の多くの研究よりも必要とする仕組みが少ない手法です。新しい専用アルゴリズムを採用する代わりに、各拠点は信頼している通常の選択器（Lasso、ランダムフォレストの重要度、相互情報量など）を保持し、自拠点の行データに対して実行して投票を送信します。各拠点は、残した特徴量の二値マスク、選好スコアのベクトル、サンプル数を送ります。選出の過程で行データや勾配が拠点から出ることはありません。

サーバーは、すべての拠点が選んだ特徴量を残し、どの拠点も選ばなかった特徴量を除外します。意見が分かれた特徴量は拠点規模で重み付けされた投票にかけられ、「自由度」と呼ばれる調整可能なパラメータが、そのうちいくつをモデルに組み込むかを決めます。その後、各拠点は得られたグローバルマスクを自身の列に適用し、縮小された表に対して通常の連合学習を実行します。

この手法はNumPyで実装され、NVIDIA FLAREのジョブとして示されています。Flower向けのコードも併せて掲載されています。

Hospitais, bancos e dispositivos de borda frequentemente querem treinar um modelo em conjunto, mas suas tabelas compartilham um esquema enquanto suas linhas precisam permanecer privadas. Esse cenário, o aprendizado federado horizontal, normalmente depende do Fed Avg, que faz a média dos pesos de cada site. O Fed Avg nunca pergunta quais atributos devem pertencer ao modelo, então cada coluna irrelevante é carregada em todas as atualizações e acrescenta ruído que os sites menores sentem mais.

O Feature Election, um método desenvolvido para essa lacuna, pede menos do que a maioria das pesquisas sobre seleção federada de atributos. Em vez de adotar um algoritmo novo e específico, cada site mantém o seletor comum em que já confia, como Lasso, importâncias de random forest ou informação mútua, executa-o sobre suas próprias linhas e envia um voto. Cada site envia uma máscara binária dos atributos mantidos, um vetor de pontuações de preferência e sua contagem de amostras. Nenhuma linha ou gradiente sai do site durante a eleição.

O servidor mantém os atributos que todos os sites selecionaram e descarta os que nenhum site selecionou. Os atributos disputados vão para uma votação ponderada pelo tamanho do site, e um parâmetro ajustável chamado grau de liberdade decide quantos deles entram no modelo. Em seguida, cada site aplica a máscara global resultante às suas colunas, e o treinamento federado comum roda sobre a tabela reduzida.

A abordagem é implementada em NumPy e demonstrada como um job no NVIDIA FLARE, com código para o Flower também exibido.

Больницы, банки и периферийные устройства часто хотят совместно обучить одну модель, но их таблицы имеют общую схему, тогда как строки должны оставаться приватными. Такая постановка, горизонтальное федеративное обучение, обычно опирается на Fed Avg, который усредняет веса с каждого участка. Fed Avg никогда не спрашивает, какие признаки должны войти в модель, поэтому каждый нерелевантный столбец переносится через все обновления и добавляет шум, который сильнее всего ощущают небольшие участки.

Feature Election, метод, разработанный для восполнения этого пробела, требует меньше, чем большинство исследований федеративного отбора признаков. Вместо нового специализированного алгоритма каждый участок сохраняет обычный селектор, которому доверяет, например Lasso, важности случайного леса или взаимную информацию, запускает его на своих строках и отправляет голос. Каждый участок передает бинарную маску отобранных признаков, вектор оценок предпочтения и количество образцов. Во время голосования строки данных и градиенты с участка не покидают его.

Сервер сохраняет признаки, которые выбрали все участки, и отбрасывает те, которые не выбрал ни один. Спорные признаки передаются на голосование, взвешенное по размеру участка, а один настраиваемый параметр, называемый степенью свободы, определяет, сколько из них войдут в модель. Затем каждый участок применяет полученную глобальную маску к своим столбцам, и обычное федеративное обучение выполняется на сокращенной таблице.

Подход реализован на NumPy и продемонстрирован как задание в NVIDIA FLARE, также приведен код для Flower.

医院、银行和边缘设备通常希望共同训练一个模型，但它们的表格结构相同，行数据却必须保持私密。这种场景即水平联邦学习，通常依赖于 Fed Avg，即对各站点的权重进行平均。Fed Avg 从不询问哪些特征应当纳入模型，因此每一个无关的列都会在每次更新中被携带，并增加噪声，而规模较小的站点受其影响最大。

特征选举是为填补这一空白而开发的方法，其所需的条件比大多数联邦特征选择研究都要少。它不采用全新的专用算法，而是让每个站点保留其已经信赖的常规选择器，例如 Lasso、随机森林重要性或互信息，在自身的行数据上运行，并发送一张投票。每个站点发送保留特征的二进制掩码、偏好分数向量及其样本数。在选举期间，没有任何行数据或梯度离开站点。

服务器保留所有站点都选中的特征，并丢弃没有任何站点选中的特征。存在争议的特征则进入按站点规模加权的投票，一个名为“自由度”的可调参数决定其中有多少特征进入模型。随后，每个站点将得到的全局掩码应用于其各列，并在缩减后的表格上运行常规的联邦训练。

该方法已在 NumPy 中实现，并在 NVIDIA FLARE 中作为一项任务进行了演示，同时也展示了 Flower 的代码。