Saat menerapkan pipeline pembelajaran mesin untuk EEG, membagi data menjadi jendela acak dapat menghasilkan hasil yang menyesatkan karena terlalu optimistis jika subjek yang sama muncul di set pelatihan dan pengujian. Pendekatan ini tidak menguji generalisasi yang sesungguhnya ke subjek baru, karena model mungkin mempelajari pola spesifik partisipan alih-alih sinyal yang berkaitan dengan tugas. Masalah ini tidak hanya terjadi pada EEG, tetapi juga pada bidang mana pun dengan pengukuran berulang dari sumber yang sama, seperti sensor yang dapat dikenakan atau data perilaku.
Dalam studi ini, peneliti mereplikasi eksperimen EEG sederhana yang membandingkan data tugas latar belakang dan tugas hitung mental, menggunakan fitur spektral dan tiga algoritma pembelajaran mesin standar. Mereka membandingkan pembagian jendela acak dengan evaluasi hold-out partisipan, di mana semua jendela dari satu subjek hanya ditetapkan untuk pelatihan atau pengujian. Dataset yang digunakan adalah EEG During Mental Arithmetic Tasks (EEGMAT) dari Physio Net, yang berisi 36 rekaman (18 subjek, masing-masing dengan rekaman latar belakang dan hitung). Setelah pemfilteran dan pembuatan jendela, diekstraksi 2.134 jendela berdurasi empat detik, terdiri dari 1.594 jendela latar belakang dan 540 jendela hitung, menghasilkan 76 fitur per jendela melalui daya relatif pada empat pita frekuensi di 19 kanal EEG. Analisis ini bertujuan mengisolasi pengaruh metodologi evaluasi, bukan mengembangkan biomarker baru, sehingga menggunakan fitur konvensional serta mengontrol keseimbangan kelas dan daya pembeda fitur.
Hasil menunjukkan bahwa evaluasi yang memperhitungkan partisipan secara signifikan mengubah estimasi performa, dan mengungkapkan bahwa pembagian acak standar melebih-lebihkan generalisasi model ketika terdapat struktur spesifik subjek.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing