Bei der Implementierung von maschinellen Lernpipelines für EEG-Daten können zufällige Fensteraufteilungen zu irreführend optimistischen Ergebnissen führen, wenn dieselbe Person sowohl im Trainings- als auch im Testdatensatz vorkommt. Dieser Ansatz prüft nicht die tatsächliche Generalisierung auf neue Personen, da Modelle teilnehmerspezifische Muster statt aufgabenbezogener Signale lernen können. Das Problem betrifft nicht nur EEG, sondern jeden Bereich mit wiederholten Messungen derselben Quelle, etwa tragbare Sensoren oder Verhaltensdaten.
In dieser Studie replizierten die Forschenden ein einfaches EEG-Experiment, das Daten einer Hintergrundaufgabe und einer mentalen Rechenaufgabe vergleicht. Dabei wurden spektrale Merkmale und drei gängige maschinelle Lernalgorithmen verwendet. Sie stellten die zufällige Fensteraufteilung einer teilnehmerbasierten Holdout-Bewertung gegenüber, bei der alle Fenster einer Person ausschließlich entweder dem Training oder dem Test zugeordnet werden. Der verwendete Datensatz war das EEG During Mental Arithmetic Tasks (EEGMAT) von Physio Net mit 36 Aufzeichnungen (18 Personen, jeweils eine Hintergrund- und eine Rechenaufzeichnung). Nach Filterung und Fensterung wurden 2.134 vier Sekunden lange Fenster extrahiert, davon 1.594 Hintergrund- und 540 Rechenfenster. Dies ergab 76 Merkmale pro Fenster über die relative Leistung in vier Frequenzbändern über 19 EEG-Kanäle. Die Analyse zielte darauf ab, den Effekt der Bewertungsmethodik zu isolieren, nicht neue Biomarker zu entwickeln. Deshalb wurden konventionelle Merkmale verwendet und Klassenbalance sowie Diskriminierungsfähigkeit der Merkmale kontrolliert.
Die Ergebnisse zeigten, dass die teilnehmerbewusste Bewertung die Leistungsschätzungen deutlich veränderte. Standardmäßige zufällige Aufteilungen überschätzen die Generalisierung des Modells, wenn personenspezifische Strukturen vorhanden sind.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing