Al implementar flujos de aprendizaje automático con EEG, dividir los datos en ventanas aleatorias puede producir resultados engañosamente optimistas si el mismo sujeto aparece tanto en el conjunto de entrenamiento como en el de prueba. Este enfoque no evalúa la verdadera generalización a nuevos sujetos, ya que los modelos pueden aprender patrones específicos de cada participante en lugar de señales relacionadas con la tarea. El problema va más allá del EEG y afecta a cualquier campo con mediciones repetidas de la misma fuente, como los sensores portátiles o los datos conductuales.
En este estudio, los investigadores replicaron un experimento sencillo de EEG que comparaba datos de una tarea de fondo y de cálculo mental, utilizando características espectrales y tres algoritmos estándar de aprendizaje automático. Contrastaron la división aleatoria por ventanas con una evaluación con participantes excluidos, en la que todas las ventanas de un sujeto se asignan exclusivamente al entrenamiento o a la prueba. El conjunto de datos utilizado fue EEG During Mental Arithmetic Tasks (EEGMAT) de Physio Net, que contiene 36 registros (18 sujetos, cada uno con grabaciones de fondo y de aritmética). Tras el filtrado y el enventanado, se extrajeron 2.134 ventanas de cuatro segundos (1.594 de fondo y 540 de aritmética), lo que produjo 76 características por ventana mediante la potencia relativa en cuatro bandas de frecuencia a través de 19 canales de EEG. El análisis buscaba aislar el efecto de la metodología de evaluación, no desarrollar nuevos biomarcadores, por lo que se emplearon características convencionales y se controlaron el equilibrio de clases y la capacidad discriminativa de las características.
Los resultados mostraron que la evaluación con conciencia del participante alteró significativamente las estimaciones de rendimiento, revelando que las divisiones aleatorias estándar sobrestiman la generalización del modelo cuando existe una estructura específica de cada sujeto.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing