Pipeline para la detección del trastorno específico del lenguaje (SLI) a partir de transcripciones de narrativas espontáneas

El Trastorno Específico del Lenguaje (SLI por sus siglas en inglés, Specific Language Impairment), también llamado disfasia infantil, afecta entre el $2$ y el $11$ porciento de los niños menores de $13$ años, siendo caracterizado por deficiencias en el lenguaje, sin discapacidad o irregularidades mentales o física evidente. En otras palabras, es un trastorno que afecta la comunicación y puede afectar tanto la comprensión como la expresión [3]. Es más común en niños que en niñas, con un fuerte vínculo genético, dado que entre el $50\%$ y el $70\%$ de los niños con SLI tienen un miembro de la familia con esta afección [4]. Un niño con SLI a menudo tiene antecedentes de retraso en el desarrollo del lenguaje expresivo, presentando síntomas como dificultades en la construcción de oraciones, desarrollo del vocabulario, entablar conversaciones, comprender y seguir reglas gramaticales y/o comprender instrucciones habladas [5]. Un trastorno del lenguaje (SLI) ocurre cuando un niño muestra una incapacidad persistente para adquirir y usar habilidades lingüísticas, como se proyectaría según las expectativas normativas basadas en la edad [6]; este trastorno se considera primario o específico cuando no hay una explicación clara para estos retrasos en las habilidades lingüísticas. La mayoría de los niños identificados con trastorno primario del lenguaje al ingresar a la escuela seguirán teniendo habilidades lingüísticas significativamente deprimidas con el tiempo [7], mostrarán dificultades con la preparación para el jardín de infantes [8], y tendrán dificultades para aprender a leer [9], este último debido en parte a sus efectos en habilidades lingüísticas de nivel superior[10]. El trastorno del lenguaje en la primera infancia también está vinculado a un mayor riesgo de preocupaciones psiquiátricas, dificultades de atención, problemas socio-conductuales y discapacidades de aprendizaje en la adolescencia [11][12]. Dada la incidencia relativamente alta de esta discapacidad infantil y sus efectos significativos en numerosas áreas de desarrollo, existe un gran interés en garantizar una identificación precisa y una intervención temprana para los niños afectados en edad temprana [13].

En la literatura se destaca la importancia de detectar trastornos específicos del lenguaje en edades tempranas, basándose en asociaciones de los pacientes con déficits en diversos aspectos del lenguaje [13]. Así mismo, se destaca la importancia de distinguir SLI de otros trastornos, como el autismo, para mejorar la precisión diagnóstica [14]. Múltiples enfoques se han desarrollado utilizando diversas herramientas de ML para la clasificación de SLI en niños. Mac Farlane et al. [15] utiliza un esquema de redes neuronales para clasificar niños a través de índices de desempeño de $10$ indicadores de confección personal, estos demostraron que es posible clasificar niños bilingües en los lenguajes de español e inglés. En el trabajo de Sharma et al. [4], se propuso un modelo que aprovecha datos directos de las transcripciones sin ningún procesamiento, utilizando redes neuronales convolucionales y aprendizaje profundo para segregar los pacientes entre SLI y desarrollo típico (TD). Kaushik et al. [16] aplica un método de detección de SLI denominado SLINet, donde a partir de una red neuronal convolucional 2D obtuvieron en $98$ sujetos ($54$ SLI y $44$ controles), una precisión del $99.09\%$ utilizando validación cruzada de diez pliegues. Por otra parte, Gray et al. [17] presentó un enfoque para la detección de SLI en niños donde utilizaron la fiabilidad de prueba/reprueba y el parámetro de precisión diagnóstica para evaluar el diagnóstico de SLI. Para este propósito, se realizó una evaluación en repetición de no-palabras, serie de dígitos, batería de evaluación Kaufman para Niños y el test de lenguaje expresivo fotográfico estructurado, los autores informaron una especificidad y sensibilidad del $100\%$ y $95\%$, respectivamente con $44$ niños en edad preescolar ($22$ SLI, $22$ TD). Armon-Lotem y Meir [18] propusieron un método para la identificación de SLI en niños bilingües (hebreo, ruso), su estudio utilizó pruebas de repetición de dígitos, no-palabras y oraciones, logrando tasas de precisión, sensibilidad y especificidad del $94\%$, $80\%$ y $97\%$, respectivamente, para ambos idiomas en $230$ niños mono y bilingües ($175$ TD, $55$ SLI). Slogrove y Haar [19] aplicaron coeficientes cepstrales de frecuencia Mel de señales de voz para la detección de SLI. Alcanzaron una tasa de precisión del $99\%$utilizando un clasificador Random Forest de forma aleatoria. Reddy et al. [20] utilizaron características de la fuente glotal, coeficientes cepstrales de frecuencia Mel y una red neuronal feed-forward para la detección de SLI en niños. Su estudio utilizó señales de habla de $54$ pacientes con SLI y $44$ niños con TD. Informaron una precisión del $98.82\%$ con selección de características. Oliva et al. [21] propusieron un método de detección de SLI utilizando técnicas de aprendizaje automático. En su estudio, se utilizaron datos cómo la longitud media de las emisiones, oraciones no gramaticales, uso correcto de: artículos, verbos, clíticos, argumentos temáticos y proporción de estructuras ditransitivas, entre otras, de 24 niños con SLI y 24 niños con TD, informaron tasas de sensibilidad y especificidad del $97\%$ y $100\%$, respectivamente. SLI actualmente es un campo de estudio de interés en la comunidad científica, como se ha expuesto en el estado-del-arte. La literatura resalta la importancia de la detección temprana de trastornos específicos del lenguaje, como el SLI, y la necesidad de distinguirlo de otros trastornos para un diagnóstico preciso. Varios estudios han explorado enfoques de aprendizaje automático, como redes neuronales y análisis de características de voz, con resultados prometedores en la clasificación de SLI versus desarrollo típico. Además, la detección de SLI es de sumo interés en la automatización del proceso mediante técnicas de Procesamiento Natural del Lenguaje (NLP) y Maschinelles Lernen (ML) y en especial, en el diseño de instrumentos de medición que se basen en aspectos cuantitativos del diagnóstico del paciente [4]. Precisamente, este estudio se centra en niños diagnosticados con SLI y busca identificar marcadores lingüísticos que permitan una detección temprana y eficiente de este trastorno.

La presente investigación tiene como objetivo desarrollar un pipeline en cascada usando clásicas técnicas de ML, para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas. Para ello, proponemos usar los métodos de Random Forest (RF) y correlación en conjunto, cómo selectores de características y así obtener una reducción de dimensionalidad de los datos. Luego con estos datos, se usa el modelo de regresión logística, con el objetivo de obtener solamente las variables más predictivas, para finalmente, usar un clasificador de vecinos más cercano para detectar SLI.

El artículo está organizado de la siguiente manera. La Sección 2 presenta la metodología propuesta, donde se introduce el esquema del pipeline, se explican conceptos clave como reducción de dimensionalidad, los modelos aplicados en el mismo y las métricas utilizadas para evaluar los resultados. Luego en la Sección 3, se detallan los resultados obtenidos en las distintas etapas del proceso. Se presentan los análisis y las interpretaciones correspondientes a cada paso del método propuesto, incluyendo la evaluación de la eficacia de las técnicas empleadas. Además, se discuten los hallazgos significativos y se comparan con resultados previos en la literatura, con el objetivo de validar y contextualizar los nuevos resultados obtenidos. Finalmente, en la Sección 4 se extraen conclusiones, se realizan comparaciones, se plantean limitaciones, fortalezas y se discute sobre trabajos futuros.

El pipeline en cascada propuesto, se compone de tres etapas, ver Figura 1. En la primera etapa (letras de color azul), se hace una extracción de características y una reducción de dimensionalidad de los datos usando los métodos de Random Forest (RF) y correlación en conjunto, logrando reducir de $43$ a $11$ variables. En la segunda etapa (letras de color rojo), se busca hallar las variables más predictivas usando regresión logística, obteniéndose $6$ variables finales. Estas variables son usadas en la última etapa (color negro), para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas usando k-NN. A continuación se introducen los métodos del pipeline propuesto, siguiendo la siguiente nomenclatura:

Sea $X$ la matriz que contiene los datos de tamaño $N\times V$, donde $N$ es cantidad de observaciones y $V$ la cantidad de variables. Note que $x$ corresponde a una observación de una variables específica. Recordar que el objetivo final, es la detección del trastorno específico del lenguaje (SLI) partir de transcripciones de narrativas espontáneas, este objetivo se enmarca en un problema de clasificación binaria, por ende es necesario considerar dos clases $C=0$ para un desarrollo típico normal y $C=1$ para SLI.

En la presente sección se discuten los resultados hallados tras aplicar el pipeline propuesto siguiendo la Figura 1 de la Metodología, Sección 2. Todo sobre las $1063$ observaciones y las $43$ variables relacionadas con las narrativas espontáneas en niños, introducidas en la Sección 2.2.

La primera etapa consiste en reducir las cantidad de datos. Entonces, como primer instancia se necesitan estimar los parámetros del método RF, dado por la ecuación (1), para así determinar, cuáles son las variables más importantes de los datos. Recordar que RF como clasificador binario, se centra en la votación mayoritaria de los árboles, por lo tanto, es necesario estimar la cantidad árboles óptimos del método. Para dicho fin, se busca el valor óptimo OOB, ver ecuación (25), entre las $43$ variables resultantes de limpiar los datos originales. La idea es encontrar el parámetro relacionado con el número de variables aleatorias, como candidatas en cada ramificación que registre el OOB óptimo. La Figura 2 muestra como varía el error OOB con el número de árboles y muestra cómo se comporta el modelo con respecto a cada clase de predicción. Observe los valores de los árboles son bastante constantes desde el valor $50$, para el tipo $1$ y para OOB, más sin embargo, se estabilizan en el valor $500$. Teniendo el valor de la cantidad de árboles $M$, es posible entonces, estimar el método RF para las clases $C=0=normal$ y $C=1=SLI$ usando la ecuación (3).

La meta en esta etapa,  es encontrar la selección de características de mayor importancia y así hacer una primera reducción de dimensionaliad de los datos. Esta parte involucra el método RF con el atributo importancia, junto con el método del coeficiente de correlación con la variable objetivo. Este criterio de selección se compone de dos partes.

1. 1.

   Criterio 1: Consiste en elegir aquellas variables que cumplan tener, una importancia superior al promedio aproximado entre la mediana y el tercer cuartil, cuyos valores son $4,5$ y $7,8$ respectivamente, ver ecuaciones (9) y (10). La razón de esta decisión consiste en aprovechar no solo el mejor $25\%$ de los datos (por delante del tercer cuartil), si no también, aquellas variables que se encontraban entre la mediana y el punto de corte del mencionado cuartil. Este enfoque permite aportar características de valor, que de otra forma hubiesen sido descartadas. En la Figura 3(a) es posible apreciar una importante aglomeración antes del punto de corte (linea rojaerde) entre la mediana y el tercer cuartil. Donde el eje X es el atributo importancia de RF y en el eje y, la correlación con la variable objetivo. Por otra parte en la figura 3(b) se aprecia la utilidad de la propuesta planteada, en tanto se identifican aquellas variables que no poseen una importancia significativa para el random forest (eje x). De esta manera, se conservan variables de importancia sin arrastrar consigo aquellas de menor atributo de importancia, las cuales se encuentran alrededor de la mediana, por la izquierda de la linea verde.

2. 2.

   Criterio 2: Consiste en corroborar que aquellas variables cuyo coeficiente de Gini, dado por la ecuación (4), sea mayor a $6$. este valor se obtiene al aplicar la ecuación (2.3), y que tengan una correlación no-nula con la variable objetivo, es decir, una $r_{s}>|0.1|$, ver ecuación (6). Este enfoque detectó $13$ variables como las más importantes, más, sin embargo, al analizar las correlaciones, se observó que todas las variables contaban con correlaciones válidas distintas de cero salvo dos, identificadas como Rellenos y Edad, cuyas correlaciones eran de $0.015$ y $0.016$ respectivamente. De esta manera se separan $11$ variables que pasan a ser las características finales. En La Figura 3(b) se puede observar la importancia del atributo RF contra la correlación de la variable objetivo. Note como se crean dos líneas de intersección que hacen que se puedan separar las variables más importantes (puntos de color negro). La línea de corte en la correlación (línea de color rojo) y el atributo importancia (línea de color verde) permiten seleccionarlas características más importantes. Finalmente, se obtienen las siguientes 11 características: Verbos sin declinar, Media de los morfemas por oración, Errores de palabras, Promedio de sílabas por palabra, Frecuencia de tipos de palabras, Uso regular del pasado, Media de las palabras por oración, Número de etiquetas y número de palabras.

La siguiente etapa del pipeline consiste en evaluar la predictibilidad de las $11$ características seleccionadas en la etapa anterior, aplicando el modelo de regresión logística de manera consecutiva, ver ecuación (7). Este enfoque, permite ir descartando aquellas variables que no consiguieran un $p$-value menor a $0.05$, ver ecuación (8). El experimento se repite cíclicamente, hasta ya no poder conseguir descartar más características. Recordar que la variable objetivo en este caso es la que esta etiquetada ya sea como un TD o SLI. Este proceso permitió seleccionar un conjunto final de $6$ características relevantes para el análisis. En la Tabla 1 se detallan estas características: Relación de uso de verbos sin declinar ante los declinados, Longitud media de morfemas por oración, Errores de palabras identificados en las transcripciones, Promedio de sílabas por palabra, Frecuencia de tipos de palabras respecto al número total de palabras y uso regular del pasado. Además, en la tabla se presentan los estimados, errores estándar y valores $z$ asociados a cada una de estas características, que son medidas fundamentales para comprender su contribución al modelo predictivo y su significancia estadística en la clasificación de niños con trastornos específicos del lenguaje (SLI).

Finalmente, considérese dos posibles clases $c=0$ (Desarrollo típico, TD) y $c=1$ (trastorno específico del lenguaje, SLI) para el vector de características $\Theta_{Ct}$ dado por las $6$ características dadas por al etapa anterior. Se propone usar $14$-NN introducido en la Sección (2.4) como clasificador para detectar SLI a partir de transcripciones de narrativas espontáneas. A modo de ilustración, en la Figura 4, se puede apreciar una tendencia de los pacientes con SLI (Azul) con respecto a los pacientes con TD (Rojo), específicamente la relación entre las características Vocales por sílabas vs Morfemas. Se puede observar como la dispersión de los grupos están bastante superpuestos, lo que hace que el modelo 14-NN sea una buena opción de clasificación. El K seleccionado surge de aplicar la raíz cuadrada al numero de observaciones que componen el conjunto de entrenamiento, el cual es el 70$\%$ de las 1063 observaciones que forman los datos [38].

Los hiperparámetros de $K$-NN se eligieron usando validación cruzada de $5$ pliegues, ecuación (16), dentro de un rango posible de valores menor a $27$ (El cual surge de calcular $\sqrt{N}$, donde N es igual al número de observaciones usados en el entrenamiento de modelo, el cual es de $730$). De esta manera, el $n$ que minimiza el promedio de error de MAE, RMSE y $R^{2}$ es igual a $14$, ver ecuaciones (23), (22) y (24). Con este valor se procede a dividir los datos con una selección aleatoria entre entrenamiento y prueba de $70\%$ y $30\%$ respectivamente.

El modelo de clasificación de vecinos cercanos, optimizado con validación cruzada quíntuple, demostró una mejora considerable en su precisión, a raíz de las selecciones de características propuestas en el pipeline. Para demostrar la potencialidad de este enfoque, considérese las $11$ características dadas por RF y correlación, contra las $6$ características dadas por el modelo de regresión logística. Como se puede observar en las Figuras 5(a) y 5(b), se destaca la capacidad del modelo para distinguir entre clases positivas que mostró un incremento importante, en particular en el caso de las clases negativas en donde la especificidad escaló de $0.22$ con $11$ características a $0.95$ con $6$ características en la identificación de niños con dificultades en el lenguaje. Lo cual sugiere que el pipeline diseñado es una buena herramienta en la detección de SLI.

Para obtener una visión integral de la eficacia del modelo, se utilizaron las métricas de precisión, F1-score, sensibilidad y especificidad. Los resultados, respaldan su utilidad clínica para la detección temprana de SLI, con suficiente evidencia estadística para afirmar que, los resultados no son casuales. Cómo pueden verse en la Tabla 2, la combinación de métodos de selección de características permitió, a través de las métricas de predicción evaluadas, determinar que el pipeline sugerido, puede ser una buena herramienta de análisis.

Además, cabe notar, que la reducción de dimensionalidad fue bastante óptima, pues se pasaron de $43$ variables iniciales a $6$ finales. Es interesante notar que las métricas mejoraron ostensiblemente al usar solamente las $6$ variables propuestas. una sensibilidad del $98\%$ y una especificidad del $93\%$, indican su capacidad para identificar tanto los casos positivos como los negativos con alta precisión. Por otro lado, el F1-Score, que combina precisión y recall, alcanza un valor del $98\%$ y $97\%$ respectivamente. Estos resultados son respaldados por la matriz de confusión presentada en la Tabla 3. La matriz se compone de los resultados del modelo en las predicciones de los valores de prueba, que componen el $30\%$ de los datos por un total de 314 observaciones. El modelo logró predecir correctamente 238 casos positivos y 67 casos negativos. Sin embargo, se observaron 5 falsos negativos y 4 falsos positivos en las predicciones. Estos resultados sugieren una mejora sustancial en la precisión al reducir el número de variables, con un F1-score mucho más alto usando $6$ características.

Los resultados obtenidos sugieren que la combinación de técnicas de selección de características, como Random Forest y regresión logística, puede ser una herramienta potente para mejorar la eficacia del modelo de clasificación. La reducción del conjunto de variables a seís destacó la relevancia de características específicas, como el uso de Verbos sin declinar, la media de morfemas por oración, los errores cometidos. el promedio de silabas por palabra, la frecuencia de tipos de palabras y el uso de verbos en pasado regular. En este contexto, surge la importancia de la toma de muestras de narrativas espontáneas de niños en el ámbito de la psiquiatría infantil. Para ello cobran suma importancia que existan metodologías que utilicen variables cuantitativas directamente relacionadas con el desempeño del niño, como pueden ser, el número de morfemas o el promedio de vocales por palabra. Este tipo de técnicas estandarizadas podrían motivar la toma de muestras en nuevos pacientes, dado que son escasas las bases de datos y resulta complejo de acceder a material de audio o transcripciones de niños.

La presente investigación se destaca por la simpleza del modelo, su precisión y su replicabilidad, en tanto no utiliza complejas variables que requieren del uso de indicadores abstractos de la psicología o herramientas de la fonoaudiologia, que lo vuelva al experimento complejo de replicar, o hasta incluso incompatible, con transcripciones en idioma inglés como español. Es interesante notar que el pipeline propuesto tiene la siguiente complejidad en términos de Big $\mathcal{O}$: El método Random Forest $\mathcal{O}(n\log(n)Vm)$, el coeficiente de correlación de Spearman $\mathcal{O}(n)$; regresión logística $\mathcal{O}(nV)$ y el clasificador de $k$ vecinos más cercanos $\mathcal{O}(knV)$, donde $V$ es el tamaño de la características y $m$ es la profundidad de los árboles. Esto sugiere que el pipeline no presenta una alta complejidad computacional.

La Tabla 4 muestra una comparación del pipeline propuesto, con otros trabajos del estado-de-arte, destacando su singularidad y eficacia en términos de sus métricas. Observe que los resultados son alentadores frente a modelos de alta complejidad como las redes neuronales o SVM.

Este estudio se propuso un pipeline en cascada de $3$ etapas, que permite, a través de un enfoque simple y eficiente, la detección de SLI en niños. La precisión del modelo de $97.13\%$, sugiere su viabilidad clínica como herramienta de detección temprana de SLI. En la primera etapa, se realizó una extracción de características y una reducción de dimensionalidad de los datos usando los métodos de Random Forest (RF) y correlación en conjunto, logrando reducir de $43$ a $11$ variables. En la segunda etapa, se estimaron las variables más predictivas usando regresión logística, obteniéndose $6$ variables finales de las $11$ de la etapa anterior. Estas variables son usadas en la última etapa, para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas. En resumen, el pipeline diseñado permitió reducir de $43$ variables a $6$ variables, lo que da una luz en la detección de SLI.

El pipeline propuesto, presenta tres fortalezas notables. Es de baja complejidad computacional; presenta una reducción de dimensionalidad de los datos siguiendo criterios precisos a partir de los datos y permite un tratamiento de la información en varios estadios, permitiendo realizar una selección de las características que logran un gran nivel predictivo de la variable objetivo. La combinación de NLP y ML abre nuevas posibilidades para diagnósticos precisos y eficientes, con un potencial impacto en la identificación temprana y el diseño de intervenciones personalizadas. En cuanto a las limitaciones, se considera lo experimental del proyecto, en tanto no fue probado con otros tipos de datos; también la estimación del valor $k$ del clasificador, puede ser óptimo o no, en muchos casos es un valor empírico que busca minimizar el error en la etapa de clasificación, por ende puede tener un rango de posibles valores. Resulta importante destacar en cuanto a las iteraciones de las regresiones que no siempre es conveniente proceder hasta hallar el mínimo conjunto posible de características. Dado que pueden ocurrir dos escenario. Uno donde se tiene un numero importante de variables que afectan en gran medida la capacidad del modelo de predecir la variable objetivo, y otro donde se tiene una selección reducida de características. En el primer caso se recomienda continuar efectuando regresiones con el fin de reducir la dimensión de trabajo. No obstante en el segundo caso, se puede optar por no correr otra regresión, en tanto se perderían variables de interés por una mejoría despreciable en el modelo. Esto queda sujeto al caso de uso y la consulta de un profesional en el área. Futuras investigaciones se centrarán en explorar la aplicación de este enfoque en poblaciones más amplias, evaluar su utilidad en entornos clínicos, adaptar el pipeline a varios tipos de datos, así como implementar esta metodología en otros campos.

El software utilizado en este estudio está disponible en la plataforma de desarrollo colaborativo https://github.com/SantiagoarenaDS/Pipeline-SLI-JAIIO2024, accessed: 2024-24-03