Lors de la mise en œuvre de pipelines d'apprentissage automatique pour l'EEG, diviser les données en fenêtres aléatoires peut produire des résultats trompeusement optimistes si un même sujet apparaît à la fois dans les ensembles d'entraînement et de test. Cette approche ne teste pas la véritable généralisation à de nouveaux sujets, car les modèles peuvent apprendre des schémas propres à chaque participant plutôt que des signaux liés à la tâche. Le problème dépasse l'EEG et concerne tout domaine comportant des mesures répétées à partir d'une même source, comme les capteurs portables ou les données comportementales.
Dans cette étude, les chercheurs ont reproduit une expérience EEG simple comparant des données de tâche de fond et de calcul mental, en utilisant des caractéristiques spectrales et trois algorithmes d'apprentissage automatique standard. Ils ont comparé le découpage aléatoire en fenêtres à une évaluation en exclusion de participants, où toutes les fenêtres d'un sujet sont attribuées exclusivement à l'entraînement ou au test. Le jeu de données utilisé était EEG During Mental Arithmetic Tasks (EEGMAT) de Physio Net, comprenant 36 enregistrements (18 sujets, chacun avec un enregistrement de fond et un enregistrement de calcul). Après filtrage et fenêtrage, 2 134 fenêtres de quatre secondes ont été extraites, dont 1 594 de fond et 540 de calcul, soit 76 caractéristiques par fenêtre grâce à la puissance relative dans quatre bandes de fréquences sur 19 canaux EEG. L'analyse visait à isoler l'effet de la méthodologie d'évaluation, et non à développer de nouveaux biomarqueurs, en utilisant des caractéristiques conventionnelles et en contrôlant l'équilibre des classes ainsi que le pouvoir discriminant des caractéristiques.
Les résultats ont montré que l'évaluation tenant compte des participants modifiait significativement les estimations de performance, révélant que les découpages aléatoires standard surestiment la généralisation du modèle lorsqu'une structure propre à chaque sujet est présente.
Source: Towards Data Science · Résumé par HeadlinesBriefing