HeadlinesBriefing HeadlinesBriefing.com

Seleksi Fitur Federated Tanpa Berbagi Data

Towards Data Science •
×

Rumah sakit, bank, dan perangkat edge sering ingin melatih satu model bersama, tetapi tabel mereka berbagi skema sementara barisnya harus tetap privat. Kondisi ini, yang disebut federated learning horizontal, biasanya mengandalkan Fed Avg, yang merata-ratakan bobot dari setiap situs. Fed Avg tidak pernah menanyakan fitur mana yang seharusnya masuk ke model, sehingga setiap kolom yang tidak relevan terbawa di setiap pembaruan dan menambah noise yang paling dirasakan oleh situs kecil.

Feature Election, metode yang dikembangkan untuk mengisi celah ini, meminta lebih sedikit dibandingkan kebanyakan penelitian tentang seleksi fitur federated. Alih-alih mengadopsi algoritma baru yang dibuat khusus, setiap situs tetap menggunakan selektor biasa yang sudah dipercaya, seperti Lasso, importance random forest, atau mutual information, menjalankannya pada barisnya sendiri, dan mengirimkan satu suara. Setiap situs mengirim masker biner dari fitur yang dipertahankan, vektor skor preferensi, dan jumlah sampelnya. Tidak ada baris data atau gradien yang meninggalkan situs selama pemilihan.

Server mempertahankan fitur yang dipilih oleh semua situs dan membuang fitur yang tidak dipilih oleh satu situs pun. Fitur yang diperebutkan masuk ke voting berbobot ukuran situs, dan satu parameter yang dapat diatur bernama freedom degree menentukan berapa banyak fitur tersebut yang masuk ke model. Setiap situs kemudian menerapkan masker global yang dihasilkan pada kolomnya, lalu pelatihan federated biasa berjalan pada tabel yang sudah dikecilkan.

Pendekatan ini diimplementasikan dengan NumPy dan didemonstrasikan sebagai job di NVIDIA FLARE, dengan kode untuk Flower juga ditampilkan.

Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing