Pipeline para la detección del trastorno específico del lenguaje (SLI) a partir de transcripciones de narrativas espontáneas
Abstract
El Trastorno Específico del Lenguaje (SLI) es un trastorno que afecta la comunicación y puede afectar tanto la comprensión como la expresión. Este estudio se centra en la detección eficaz del SLI en niños, empleando transcripciones de narrativas espontáneas tomadas en 1063 entrevistas. Para dicho fin, proponemos un pipeline de tres etapas en cascada. En la primera etapa, se hace una extracción de características y una reducción de dimensionalidad de los datos usando en conjunto, los métodos de Random Forest (RF) y correlación de Spearman. En la segunda etapa se estiman las variables más predictivas de la primera etapa usando regresión logística, las cuales son usadas en la última etapa, para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas usando un clasificador de vecinos más cercanos. Los resultados revelaron una precisión del 97,13% en la identificación del SLI, destacándose aspectos como el largo de las respuestas, la calidad de sus enunciados y la complejidad del lenguaje. Este nuevo enfoque enmarcado en procesamiento natural del lenguaje, ofrece beneficios significativos al campo de la detección de SLI, al evitar complejas variables subjetivas y centrarse en métricas cuantitativas directamente relacionadas con el desempeño del niño.
Keywords Reducción de dimensionalidad SLI Random Forest clasificación k-NN NLP
1 Introducción
El Trastorno Específico del Lenguaje (SLI por sus siglas en inglés, Specific Language Impairment), también llamado disfasia infantil, afecta entre el y el porciento de los niños menores de años, siendo caracterizado por deficiencias en el lenguaje, sin discapacidad o irregularidades mentales o física evidente. En otras palabras, es un trastorno que afecta la comunicación y puede afectar tanto la comprensión como la expresión [3]. Es más común en niños que en niñas, con un fuerte vínculo genético, dado que entre el y el de los niños con SLI tienen un miembro de la familia con esta afección [4]. Un niño con SLI a menudo tiene antecedentes de retraso en el desarrollo del lenguaje expresivo, presentando síntomas como dificultades en la construcción de oraciones, desarrollo del vocabulario, entablar conversaciones, comprender y seguir reglas gramaticales y/o comprender instrucciones habladas [5]. Un trastorno del lenguaje (SLI) ocurre cuando un niño muestra una incapacidad persistente para adquirir y usar habilidades lingüísticas, como se proyectaría según las expectativas normativas basadas en la edad [6]; este trastorno se considera primario o específico cuando no hay una explicación clara para estos retrasos en las habilidades lingüísticas. La mayoría de los niños identificados con trastorno primario del lenguaje al ingresar a la escuela seguirán teniendo habilidades lingüísticas significativamente deprimidas con el tiempo [7], mostrarán dificultades con la preparación para el jardín de infantes [8], y tendrán dificultades para aprender a leer [9], este último debido en parte a sus efectos en habilidades lingüísticas de nivel superior[10]. El trastorno del lenguaje en la primera infancia también está vinculado a un mayor riesgo de preocupaciones psiquiátricas, dificultades de atención, problemas socio-conductuales y discapacidades de aprendizaje en la adolescencia [11][12]. Dada la incidencia relativamente alta de esta discapacidad infantil y sus efectos significativos en numerosas áreas de desarrollo, existe un gran interés en garantizar una identificación precisa y una intervención temprana para los niños afectados en edad temprana [13].
En la literatura se destaca la importancia de detectar trastornos específicos del lenguaje en edades tempranas, basándose en asociaciones de los pacientes con déficits en diversos aspectos del lenguaje [13]. Así mismo, se destaca la importancia de distinguir SLI de otros trastornos, como el autismo, para mejorar la precisión diagnóstica [14]. Múltiples enfoques se han desarrollado utilizando diversas herramientas de ML para la clasificación de SLI en niños. Mac Farlane et al. [15] utiliza un esquema de redes neuronales para clasificar niños a través de índices de desempeño de indicadores de confección personal, estos demostraron que es posible clasificar niños bilingües en los lenguajes de español e inglés. En el trabajo de Sharma et al. [4], se propuso un modelo que aprovecha datos directos de las transcripciones sin ningún procesamiento, utilizando redes neuronales convolucionales y aprendizaje profundo para segregar los pacientes entre SLI y desarrollo típico (TD). Kaushik et al. [16] aplica un método de detección de SLI denominado SLINet, donde a partir de una red neuronal convolucional 2D obtuvieron en sujetos ( SLI y controles), una precisión del utilizando validación cruzada de diez pliegues. Por otra parte, Gray et al. [17] presentó un enfoque para la detección de SLI en niños donde utilizaron la fiabilidad de prueba/reprueba y el parámetro de precisión diagnóstica para evaluar el diagnóstico de SLI. Para este propósito, se realizó una evaluación en repetición de no-palabras, serie de dígitos, batería de evaluación Kaufman para Niños y el test de lenguaje expresivo fotográfico estructurado, los autores informaron una especificidad y sensibilidad del y , respectivamente con niños en edad preescolar ( SLI, TD). Armon-Lotem y Meir [18] propusieron un método para la identificación de SLI en niños bilingües (hebreo, ruso), su estudio utilizó pruebas de repetición de dígitos, no-palabras y oraciones, logrando tasas de precisión, sensibilidad y especificidad del , y , respectivamente, para ambos idiomas en niños mono y bilingües ( TD, SLI). Slogrove y Haar [19] aplicaron coeficientes cepstrales de frecuencia Mel de señales de voz para la detección de SLI. Alcanzaron una tasa de precisión del utilizando un clasificador Random Forest de forma aleatoria. Reddy et al. [20] utilizaron características de la fuente glotal, coeficientes cepstrales de frecuencia Mel y una red neuronal feed-forward para la detección de SLI en niños. Su estudio utilizó señales de habla de pacientes con SLI y niños con TD. Informaron una precisión del con selección de características. Oliva et al. [21] propusieron un método de detección de SLI utilizando técnicas de aprendizaje automático. En su estudio, se utilizaron datos cómo la longitud media de las emisiones, oraciones no gramaticales, uso correcto de: artículos, verbos, clíticos, argumentos temáticos y proporción de estructuras ditransitivas, entre otras, de 24 niños con SLI y 24 niños con TD, informaron tasas de sensibilidad y especificidad del y , respectivamente. SLI actualmente es un campo de estudio de interés en la comunidad científica, como se ha expuesto en el estado-del-arte. La literatura resalta la importancia de la detección temprana de trastornos específicos del lenguaje, como el SLI, y la necesidad de distinguirlo de otros trastornos para un diagnóstico preciso. Varios estudios han explorado enfoques de aprendizaje automático, como redes neuronales y análisis de características de voz, con resultados prometedores en la clasificación de SLI versus desarrollo típico. Además, la detección de SLI es de sumo interés en la automatización del proceso mediante técnicas de Procesamiento Natural del Lenguaje (NLP) y Maschinelles Lernen (ML) y en especial, en el diseño de instrumentos de medición que se basen en aspectos cuantitativos del diagnóstico del paciente [4]. Precisamente, este estudio se centra en niños diagnosticados con SLI y busca identificar marcadores lingüísticos que permitan una detección temprana y eficiente de este trastorno.
La presente investigación tiene como objetivo desarrollar un pipeline en cascada usando clásicas técnicas de ML, para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas. Para ello, proponemos usar los métodos de Random Forest (RF) y correlación en conjunto, cómo selectores de características y así obtener una reducción de dimensionalidad de los datos. Luego con estos datos, se usa el modelo de regresión logística, con el objetivo de obtener solamente las variables más predictivas, para finalmente, usar un clasificador de vecinos más cercano para detectar SLI.
El artículo está organizado de la siguiente manera. La Sección 2 presenta la metodología propuesta, donde se introduce el esquema del pipeline, se explican conceptos clave como reducción de dimensionalidad, los modelos aplicados en el mismo y las métricas utilizadas para evaluar los resultados. Luego en la Sección 3, se detallan los resultados obtenidos en las distintas etapas del proceso. Se presentan los análisis y las interpretaciones correspondientes a cada paso del método propuesto, incluyendo la evaluación de la eficacia de las técnicas empleadas. Además, se discuten los hallazgos significativos y se comparan con resultados previos en la literatura, con el objetivo de validar y contextualizar los nuevos resultados obtenidos. Finalmente, en la Sección 4 se extraen conclusiones, se realizan comparaciones, se plantean limitaciones, fortalezas y se discute sobre trabajos futuros.
2 Metodología
El pipeline en cascada propuesto, se compone de tres etapas, ver Figura 1. En la primera etapa (letras de color azul), se hace una extracción de características y una reducción de dimensionalidad de los datos usando los métodos de Random Forest (RF) y correlación en conjunto, logrando reducir de a variables. En la segunda etapa (letras de color rojo), se busca hallar las variables más predictivas usando regresión logística, obteniéndose variables finales. Estas variables son usadas en la última etapa (color negro), para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas usando k-NN. A continuación se introducen los métodos del pipeline propuesto, siguiendo la siguiente nomenclatura:
Sea la matriz que contiene los datos de tamaño , donde es cantidad de observaciones y la cantidad de variables. Note que corresponde a una observación de una variables específica. Recordar que el objetivo final, es la detección del trastorno específico del lenguaje (SLI) partir de transcripciones de narrativas espontáneas, este objetivo se enmarca en un problema de clasificación binaria, por ende es necesario considerar dos clases para un desarrollo típico normal y para SLI.
2.1 Lenguaje de programación
La implementación de los siguientes métodos fueron realizados usando el lenguaje de programación RStudio 2023.09.1+494, Desert Sunflower Release, el cual está desarrollado para computación estadística y visualización de datos.
2.2 Base de Datos
La base de datos consiste en transcripciones de audio públicas de tres estudios diferentes, llamados: Conti-Ramsden , ENNI y GILLUM. Se puede accesar libremente en [22].
El conjunto de datos Conti-Ramsden se recopiló para un estudio que evaluó la efectividad de las pruebas narrativas en adolescentes. Consiste en 99 muestras de desarrollo típico (TD) y 19 muestras de trastorno específico del lenguaje (SLI) de niños entre las edades de y . Este contiene transcripciones de una tarea de narración basada en el libro de imágenes sin palabras. El conjunto de datos ENNI consta de muestras de desarrollo típico (TD) y muestras de trastorno específico del lenguaje (SLI) de niños entre y años. A cada niño se le presentaron dos historias de imágenes sin palabras, una más complicada que la otra. El conjunto de datos de Gillam se basa en otra herramienta para la evaluación narrativa conocida como Test de Lenguaje Narrativo (TNL). Consiste en niños con trastornos del lenguaje (SLI) y TD de entre y años.
Las bases de datos combinadas contiene observaciones y variables. Dentro de estas variables se encuentra el diagnóstico correspondiente a cada niño, si este tiene un desarrollo típico o muestra SLI, esta variable corresponde a la variable objetivo. A modo de simplificación se decidió retirar aquellas variables que no fueron una métrica numérica medible, cómo puede ser un conteo de palabras o sílabas. De esta manera se cuentan con variables que registran el desempeño de un niño descomponiendo su narrativa en la calidad de sus enunciados, oraciones y palabras. Algunos ejemplos son la cantidad de palabras de relleno por oración, la cantidad de errores por palabra, el promedio de verbos en pasado sobre los verbos en infinitivo, el promedio de palabras,verbos o adjetivos por oración, entre otros. El objeto de estas observaciones consiste en evaluar la complejidad narrativa y en ella, poder predecir un desarrollo atípico en la misma. Escapa el objeto de la presente investigación indagar en profundidad sobre los patrones del lenguaje en niños y sus variantes; no obstante, se invita al lector a explorar los siguientes autores en la materia de análisis de narrativas y extracción de características [23, 24].
2.3 Extracción de características
Se entiende por Extracción o selección de características a la práctica de reducir a un conjunto de características con el objeto de mejorar una inducción [25]. Estos métodos se utilizan para obtener el subconjunto de características más relevantes del conjunto principal, dicho subconjunto será aquel que maximice una función criterio determinada [26]. En esta etapa se consideró la relación entre la habilidad narrativa y el lenguaje. Específicamente se considera como un método válido la medición de la competencia comunicativa de un individuo [27]. Para lograr esto, solo se consideraron las variables cuantitativas relacionadas con la narrativa de los niños, dejando fuera aquellas que no representan un dato concreto y medible. Esta selección fue hecha manualmente obteniéndose variables iniciales. El siguiente paso fue aplicar un esquema para determinar la importancia de estas variables junto con su capacidad de predicción de la variable objetivo, dada por la variable grupo (ver Sección 2.2). Para dicho fin se usaron los métodos de Random Forest y Correlación.
Random Forest (RF): Es un modelo utilizado como un método de clasificación y regresión de propósito general. El enfoque, que combina varios árboles de decisión aleatorizados y agrega sus predicciones promediando, es lo suficientemente versátil como para ser aplicado a problemas a gran escala, se adapta fácilmente a diversas tareas de aprendizaje ad-hoc y proporciona medidas de importancia de variables [28]. Como clasificador binario, se centra en una votación mayoritaria entre los árboles de clasificación [29]. Esto significa que para una observación , se predice si más de la mitad de los árboles individuales predicen , y en caso contrario. Esto se puede expresar de la siguiente manera:
(1) |
La función (1) calcula el voto mayoritario de modelos, cada uno con sus parámetros , entrenados con el conjunto de datos . La sumatoria calcula la media de las predicciones de cada modelo para la entrada sobre el conjunto de modelos . La función de decisión determina la clase final asignada a la instancia , basada en si la media de las predicciones supera o no, el valor de [30]. El número de árboles puede elegirse arbitrariamente grande, entonces, desde un punto de vista de modelado, en (1) puede tender a , por lo tanto:
(2) |
En esta definición, denota la esperanza con respecto al parámetro aleatorio , condicionado a , entonces (2), se puede expresar como:
(3) |
Luego se usa el criterio de árboles de clasificación y regresión (CART, por sus siglas en inglés Classification and Regression Trees) para realizar el ajuste binario. Básicamente, se define como una función de la impureza de Gini en cada nodo del árbol de decisión. Matemáticamente esta impureza se puede escribir como:
(4) |
donde es la probabilidad de que un objeto sea clasificado en una clase particular. Esta medida tiene en cuenta la proporción de clases en cada nodo y se utiliza para determinar la mejor manera de dividir el conjunto de datos en subconjuntos más puros. Se puede expresar como:
(5) |
En (2.3), el nodo consiste en un árbol de decisión, al considerar una división con el umbral . En ella:
-
•
y denotan las proporciones de las clases y respectivamente en el nodo .
-
•
y representan el número de instancias en las ramas izquierda () y derecha () del nodo , después de aplicar la división con el umbral .
-
•
y , indican las proporciones de las clases y en la rama izquierda del nodo después de la división.
-
•
y representan las proporciones de las clases y en la rama derecha del nodo después de la división.
La ecuación (2.3) se emplea para calcular la ganancia de información o la reducción de la impureza al dividir un nodo en dos ramas [28].
Coeficiente de correlación de Spearman (): Evalúa la relación monotónica entre dos variables, indicando cómo una variable cambia consistentemente cuando la otra aumenta o disminuye. está basado en el coeficiente de correlación de Spearman (), el cual denota la diferencia entre los rangos de las observaciones e , donde es el número de observaciones. Los rangos de las observaciones, y , son asignados a las variables e respectivamente.
(6) |
Este coeficiente proporciona un valor en el rango de a , donde indica una correlación negativa perfecta, indica ausencia de correlación, y indica una correlación positiva perfecta. El coeficiente de Spearman es útil dado que no asume una relación lineal entre las variables [31].
Regresión logística: Es un modelo de clasificación utilizado para predecir la probabilidad de que una variable categórica dependiente tenga un valor específico en función de una o más variables independientes [32]. La primera expresión, la función sigmoide, comúnmente utilizada en la regresión logística. Toma cualquier valor de entrada y lo transforma en un valor entre y . Esto es útil para modelar probabilidades, ya que puede interpretarse como la probabilidad de que ocurra un evento binario dado un conjunto de características. Esta ocurrencia se entiende como , la probabilidad de que la observación pertenezca a la clase dada la entrada .
(7) |
Donde es la probabilidad de que la variable de respuesta tome el valor dado el vector de características , son los parámetros asociados con la clase , representa la transposición del vector de características, y denota la suma sobre todas las clases . En la sumatoria, representa cada una de las clases distintas en el problema de clasificación. La función softmax garantiza que la suma de todas las probabilidades sea igual a 1, lo que la hace adecuada para problemas de clasificación multiclase [33, 34].
-value o valor : Es una medida estadística que indica la probabilidad de obtener resultados igualmente extremos o más extremos que los observados, bajo la suposición de que la hipótesis nula es verdadera. En el contexto de la regresión logística, el p-value se utiliza para evaluar la significancia estadística de cada coeficiente estimado en el modelo.
(8) |
Donde pnorm es la función de distribución acumulativa normal estándar, coeficiente es el valor estimado del coeficiente del predictor en el modelo de regresión logística y error estándar es el error estándar asociado al coeficiente estimado [35].
Mediana (): Es el valor que divide las observaciones en dos partes iguales de manera que al menos el de los valores sean mayores o iguales a la mediana y al menos el de los valores sean menores o iguales a la mediana. Se denota como ; luego, en términos de la función de distribución acumulada empírica, se cumple la condición . Sean las observaciones que pueden ser ordenadas como . El cálculo de la mediana depende de si el número de observaciones es impar o par. Cuando es impar, entonces es el valor medio ordenado. Cuando es par, entonces es la media aritmética de los dos valores medios ordenados [36].
(9) |
Cuartiles: Son valores que dividen los datos en cuatro partes iguales. El primer cuartil, denotado como , es el valor que deja el de los datos a su izquierda. El segundo cuartil es la mediana . El tercer cuartil, denotado como , es el valor que deja el de los datos a su izquierda. Para calcular el -ésimo cuartil, denotado como , en una muestra ordenada de observaciones es:
(10) |
2.4 k-vecinos más cercanos (k-NN)
-NN es un algoritmo de aprendizaje supervisado utilizado para la clasificación y regresión. En la clasificación -NN, se asigna una etiqueta de clase al punto de datos desconocido, basándose en la mayoría de las etiquetas de clase de los puntos de datos más cercanos en el conjunto de entrenamiento [25, 37]. Usando el vector de características , consideramos una clasificación en dos posibles clases (Desarrollo típico) y (SLI). La probabilidad de clasificar una muestra en una de las dos clases está dada por:
(11) | ||||
(12) |
donde es la dimensión de la muestra , y son los números de muestras de entrenamiento de la clase y clase , respectivamente, y es la varianza. Usando la regla de Bayes para clasificar una nueva observación , obtenemos la siguiente ecuación:
(13) |
donde la máxima verosimilitud nos da y . Sustituyendo en la ecuación (13), obtenemos la probabilidad . La expresión para se puede derivar de manera similar. Para determinar qué clase es más probable, se evalúa la proporción entre las dos expresiones:
(14) |
Si la proporción es mayor que uno, se clasifica como , de lo contrario se clasifica como . Es importante señalar que en el caso donde es muy pequeño en (11), entonces tanto el numerador como el denominador estarán dominados por el término para el cual la muestra en la clase-0 o en la clase-1 están más cerca del punto , tal que:
(15) |
En el límite , se clasifica como clase 0 si tiene un punto en los datos de clase que está más cerca que el punto más cercano en los datos de clase . El método del vecino más cercano se recupera así como el caso límite de un modelo generativo probabilístico. El parámetro se elige basado en , donde es el número de muestras en el conjunto de datos de entrenamiento. Para un tratamiento completo de las propiedades matemáticas del clasificador de -vecinos más cercanos, remitimos al lector a [38, 39].
2.5 Validación cruzada quíntuple
La validación cruzada es un método utilizado para evaluar el rendimiento predictivo de un modelo de aprendizaje automático [40]. Consiste en dividir el conjunto de datos en subconjuntos de entrenamiento y prueba repetidamente, ajustando y evaluando el modelo en cada iteración. Esta dada por:
(16) |
donde es el número de iteraciones de la validación cruzada, es la precisión media, es la precisión del modelo en la -ésima iteración.
2.6 Métricas de evaluación
Se refieren a medidas utilizadas para evaluar el rendimiento de los modelos de aprendizaje automático. Estas métricas permiten cuantificar la calidad de las predicciones realizadas por un modelo en función de los datos de prueba [34]. A continuación se introducen las métricas usadas en este estudio.
Precisión: Es la proporción de instancias positivas clasificadas correctamente entre todas las instancias clasificadas como positivas por el modelo. Se calcula mediante la fórmula:
(17) |
donde es número de verdaderos positivos y FP es número de falsos positivos. Se entiende por TP a los casos en los que el modelo clasifica correctamente una instancia como positiva cuando realmente lo es. Por otra parte, son los casos en los que el modelo clasifica incorrectamente una instancia como positiva cuando en realidad es negativa.
Recall positivo: Sensibilidad, es la proporción de instancias positivas clasificadas correctamente entre todas las instancias que realmente son positivas. Se calcula mediante la fórmula:
(18) |
con siendo número de falsos negativos, donde modelo clasifica incorrectamente una instancia como negativa cuando en realidad es positiva. Por otra parte, los Falso Negativo (FN) son aquellos casos donde el modelo clasifica incorrectamente una instancia como negativa cuando en realidad es positiva.
Recall negativo: Especificidad, se refiere a la proporción de instancias negativas clasificadas correctamente entre todas las instancias que realmente son negativas. Se entiende como . Se calcula mediante la fórmula:
(19) |
F1-score: Es la media armónica de precisión y recall y proporciona un equilibrio entre ambas métricas. Se calcula mediante la fórmula:
(20) |
área bajo la Curva, : (AUC-ROC) es una medida de la capacidad discriminatoria de un modelo de clasificación binaria. Representa la probabilidad de que el modelo clasifique correctamente una instancia positiva al azar más alta que una instancia negativa al azar.
(21) |
La , tiene una relación directa con la sensibilidad y la especificidad, estas se calculan a partir de la matriz de confusión obtenida al evaluar el modelo con datos de prueba. [41, 42]
Error de raíz cuadrática media (): Es una medida que cuantifica la diferencia entre los valores predichos por un modelo y los valores observados. Se calcula tomando la raíz cuadrada de la media de los cuadrados de las diferencias entre los valores observados y los valores predichos por el modelo. Esta métrica se utiliza para evaluar la precisión del modelo en términos de unidades de la variable dependiente.
(22) |
Error medio absoluto (): Es una medida que calcula la magnitud promedio de los errores en las predicciones de un modelo, sin tener en cuenta su dirección. Se obtiene calculando la media de las diferencias absolutas entre los valores observados y los valores predichos por el modelo. Esta métrica proporciona una medida de la magnitud promedio de los errores de predicción [34].
(23) |
: Es una medida que indica la proporción de la varianza en la variable dependiente que es predecible a partir de la(s) variable(s) independiente(s) en el modelo. Se calcula como menos la proporción de la varianza residual respecto a la varianza total. Un más alto indica un mejor ajuste del modelo a los datos observados [34].
(24) |
Donde es el número de observaciones, es el valor observado, es el valor predicho por el modelo para la -ésima observación, e es la media de los valores observados [34].
Error : Se calcula utilizando la tasa de error (clasificación) o el error cuadrático medio (regresión) de las predicciones hechas en las muestras OOB (por sus siglas en inglés Out of the Bag Error). Para un problema de clasificación binaria, la fórmula del error OOB se puede expresar como:
(25) |
Donde es el número de muestras en el conjunto de datos, es la etiqueta verdadera de la muestra , es la predicción del modelo para la muestra , es una función indicadora que devuelve si la condición dentro de los paréntesis es verdadera, y en caso contrario [35].
3 Resultados y discusión
En la presente sección se discuten los resultados hallados tras aplicar el pipeline propuesto siguiendo la Figura 1 de la Metodología, Sección 2. Todo sobre las observaciones y las variables relacionadas con las narrativas espontáneas en niños, introducidas en la Sección 2.2.
La primera etapa consiste en reducir las cantidad de datos. Entonces, como primer instancia se necesitan estimar los parámetros del método RF, dado por la ecuación (1), para así determinar, cuáles son las variables más importantes de los datos. Recordar que RF como clasificador binario, se centra en la votación mayoritaria de los árboles, por lo tanto, es necesario estimar la cantidad árboles óptimos del método. Para dicho fin, se busca el valor óptimo OOB, ver ecuación (25), entre las variables resultantes de limpiar los datos originales. La idea es encontrar el parámetro relacionado con el número de variables aleatorias, como candidatas en cada ramificación que registre el OOB óptimo. La Figura 2 muestra como varía el error OOB con el número de árboles y muestra cómo se comporta el modelo con respecto a cada clase de predicción. Observe los valores de los árboles son bastante constantes desde el valor , para el tipo y para OOB, más sin embargo, se estabilizan en el valor . Teniendo el valor de la cantidad de árboles , es posible entonces, estimar el método RF para las clases y usando la ecuación (3).
La meta en esta etapa, es encontrar la selección de características de mayor importancia y así hacer una primera reducción de dimensionaliad de los datos. Esta parte involucra el método RF con el atributo importancia, junto con el método del coeficiente de correlación con la variable objetivo. Este criterio de selección se compone de dos partes.
-
1.
Criterio 1: Consiste en elegir aquellas variables que cumplan tener, una importancia superior al promedio aproximado entre la mediana y el tercer cuartil, cuyos valores son y respectivamente, ver ecuaciones (9) y (10). La razón de esta decisión consiste en aprovechar no solo el mejor de los datos (por delante del tercer cuartil), si no también, aquellas variables que se encontraban entre la mediana y el punto de corte del mencionado cuartil. Este enfoque permite aportar características de valor, que de otra forma hubiesen sido descartadas. En la Figura 3(a) es posible apreciar una importante aglomeración antes del punto de corte (linea rojaerde) entre la mediana y el tercer cuartil. Donde el eje X es el atributo importancia de RF y en el eje y, la correlación con la variable objetivo. Por otra parte en la figura 3(b) se aprecia la utilidad de la propuesta planteada, en tanto se identifican aquellas variables que no poseen una importancia significativa para el random forest (eje x). De esta manera, se conservan variables de importancia sin arrastrar consigo aquellas de menor atributo de importancia, las cuales se encuentran alrededor de la mediana, por la izquierda de la linea verde.
-
2.
Criterio 2: Consiste en corroborar que aquellas variables cuyo coeficiente de Gini, dado por la ecuación (4), sea mayor a . este valor se obtiene al aplicar la ecuación (2.3), y que tengan una correlación no-nula con la variable objetivo, es decir, una , ver ecuación (6). Este enfoque detectó variables como las más importantes, más, sin embargo, al analizar las correlaciones, se observó que todas las variables contaban con correlaciones válidas distintas de cero salvo dos, identificadas como Rellenos y Edad, cuyas correlaciones eran de y respectivamente. De esta manera se separan variables que pasan a ser las características finales. En La Figura 3(b) se puede observar la importancia del atributo RF contra la correlación de la variable objetivo. Note como se crean dos líneas de intersección que hacen que se puedan separar las variables más importantes (puntos de color negro). La línea de corte en la correlación (línea de color rojo) y el atributo importancia (línea de color verde) permiten seleccionarlas características más importantes. Finalmente, se obtienen las siguientes 11 características: Verbos sin declinar, Media de los morfemas por oración, Errores de palabras, Promedio de sílabas por palabra, Frecuencia de tipos de palabras, Uso regular del pasado, Media de las palabras por oración, Número de etiquetas y número de palabras.
La siguiente etapa del pipeline consiste en evaluar la predictibilidad de las características seleccionadas en la etapa anterior, aplicando el modelo de regresión logística de manera consecutiva, ver ecuación (7). Este enfoque, permite ir descartando aquellas variables que no consiguieran un -value menor a , ver ecuación (8). El experimento se repite cíclicamente, hasta ya no poder conseguir descartar más características. Recordar que la variable objetivo en este caso es la que esta etiquetada ya sea como un TD o SLI. Este proceso permitió seleccionar un conjunto final de características relevantes para el análisis. En la Tabla 1 se detallan estas características: Relación de uso de verbos sin declinar ante los declinados, Longitud media de morfemas por oración, Errores de palabras identificados en las transcripciones, Promedio de sílabas por palabra, Frecuencia de tipos de palabras respecto al número total de palabras y uso regular del pasado. Además, en la tabla se presentan los estimados, errores estándar y valores asociados a cada una de estas características, que son medidas fundamentales para comprender su contribución al modelo predictivo y su significancia estadística en la clasificación de niños con trastornos específicos del lenguaje (SLI).
Finalmente, considérese dos posibles clases (Desarrollo típico, TD) y (trastorno específico del lenguaje, SLI) para el vector de características dado por las características dadas por al etapa anterior. Se propone usar -NN introducido en la Sección (2.4) como clasificador para detectar SLI a partir de transcripciones de narrativas espontáneas. A modo de ilustración, en la Figura 4, se puede apreciar una tendencia de los pacientes con SLI (Azul) con respecto a los pacientes con TD (Rojo), específicamente la relación entre las características Vocales por sílabas vs Morfemas. Se puede observar como la dispersión de los grupos están bastante superpuestos, lo que hace que el modelo 14-NN sea una buena opción de clasificación. El K seleccionado surge de aplicar la raíz cuadrada al numero de observaciones que componen el conjunto de entrenamiento, el cual es el 70 de las 1063 observaciones que forman los datos [38].
![Refer to caption](extracted/5690711/Figures/imagen1.png)
![Refer to caption](extracted/5690711/Figures/Imagen2.png)
![Refer to caption](extracted/5690711/Figures/imagen3.png)
Características | Estimados | Std. error | value | |
---|---|---|---|---|
Verbos sin declinar | 1.25727 | 0.28994 | 4.336 | |
Morfemas por oración | -0.84605 | 0.08618 | -9.817 | |
Errores | 0.85750 | 0.11493 | 7.461 | |
Promedio silabas | -2.64640 | 1.10947 | -2.385 | 0.01707 |
Frecuencia de tipos | -2.73838 | 0.91128 | -3.005 | 0.00266 |
Pasado regular | -0.05929 | 0.01623 | -3.652 | 0.00026 |
![Refer to caption](extracted/5690711/Figures/Imagen5.png)
Los hiperparámetros de -NN se eligieron usando validación cruzada de pliegues, ecuación (16), dentro de un rango posible de valores menor a (El cual surge de calcular , donde N es igual al número de observaciones usados en el entrenamiento de modelo, el cual es de ). De esta manera, el que minimiza el promedio de error de MAE, RMSE y es igual a , ver ecuaciones (23), (22) y (24). Con este valor se procede a dividir los datos con una selección aleatoria entre entrenamiento y prueba de y respectivamente.
El modelo de clasificación de vecinos cercanos, optimizado con validación cruzada quíntuple, demostró una mejora considerable en su precisión, a raíz de las selecciones de características propuestas en el pipeline. Para demostrar la potencialidad de este enfoque, considérese las características dadas por RF y correlación, contra las características dadas por el modelo de regresión logística. Como se puede observar en las Figuras 5(a) y 5(b), se destaca la capacidad del modelo para distinguir entre clases positivas que mostró un incremento importante, en particular en el caso de las clases negativas en donde la especificidad escaló de con características a con características en la identificación de niños con dificultades en el lenguaje. Lo cual sugiere que el pipeline diseñado es una buena herramienta en la detección de SLI.
Para obtener una visión integral de la eficacia del modelo, se utilizaron las métricas de precisión, F1-score, sensibilidad y especificidad. Los resultados, respaldan su utilidad clínica para la detección temprana de SLI, con suficiente evidencia estadística para afirmar que, los resultados no son casuales. Cómo pueden verse en la Tabla 2, la combinación de métodos de selección de características permitió, a través de las métricas de predicción evaluadas, determinar que el pipeline sugerido, puede ser una buena herramienta de análisis.
![Refer to caption](extracted/5690711/Figures/Imagen6.png)
![Refer to caption](extracted/5690711/Figures/Imagen7.png)
características | Resultados | |||
---|---|---|---|---|
Precisión | F1-score | Sensibilidad | Especificidad | |
11 | 82.8% | 33.1% | 96.4% | 22% |
6 | 97.13% | 98.74% | 98.71% | 95.06% |
Además, cabe notar, que la reducción de dimensionalidad fue bastante óptima, pues se pasaron de variables iniciales a finales. Es interesante notar que las métricas mejoraron ostensiblemente al usar solamente las variables propuestas. una sensibilidad del y una especificidad del , indican su capacidad para identificar tanto los casos positivos como los negativos con alta precisión. Por otro lado, el F1-Score, que combina precisión y recall, alcanza un valor del y respectivamente. Estos resultados son respaldados por la matriz de confusión presentada en la Tabla 3. La matriz se compone de los resultados del modelo en las predicciones de los valores de prueba, que componen el de los datos por un total de 314 observaciones. El modelo logró predecir correctamente 238 casos positivos y 67 casos negativos. Sin embargo, se observaron 5 falsos negativos y 4 falsos positivos en las predicciones. Estos resultados sugieren una mejora sustancial en la precisión al reducir el número de variables, con un F1-score mucho más alto usando características.
Positivo (Predicho) | Negativo (Predicho) | |
---|---|---|
Positivo (Real) | 238 | 5 |
Negativo (Real) | 4 | 67 |
Los resultados obtenidos sugieren que la combinación de técnicas de selección de características, como Random Forest y regresión logística, puede ser una herramienta potente para mejorar la eficacia del modelo de clasificación. La reducción del conjunto de variables a seís destacó la relevancia de características específicas, como el uso de Verbos sin declinar, la media de morfemas por oración, los errores cometidos. el promedio de silabas por palabra, la frecuencia de tipos de palabras y el uso de verbos en pasado regular. En este contexto, surge la importancia de la toma de muestras de narrativas espontáneas de niños en el ámbito de la psiquiatría infantil. Para ello cobran suma importancia que existan metodologías que utilicen variables cuantitativas directamente relacionadas con el desempeño del niño, como pueden ser, el número de morfemas o el promedio de vocales por palabra. Este tipo de técnicas estandarizadas podrían motivar la toma de muestras en nuevos pacientes, dado que son escasas las bases de datos y resulta complejo de acceder a material de audio o transcripciones de niños.
La presente investigación se destaca por la simpleza del modelo, su precisión y su replicabilidad, en tanto no utiliza complejas variables que requieren del uso de indicadores abstractos de la psicología o herramientas de la fonoaudiologia, que lo vuelva al experimento complejo de replicar, o hasta incluso incompatible, con transcripciones en idioma inglés como español. Es interesante notar que el pipeline propuesto tiene la siguiente complejidad en términos de Big : El método Random Forest , el coeficiente de correlación de Spearman ; regresión logística y el clasificador de vecinos más cercanos , donde es el tamaño de la características y es la profundidad de los árboles. Esto sugiere que el pipeline no presenta una alta complejidad computacional.
La Tabla 4 muestra una comparación del pipeline propuesto, con otros trabajos del estado-de-arte, destacando su singularidad y eficacia en términos de sus métricas. Observe que los resultados son alentadores frente a modelos de alta complejidad como las redes neuronales o SVM.
Método | Características | Precisión | Ref |
---|---|---|---|
-NN | DDT | Este trabajo | |
CNN | DDT | [4] | |
SLINet | CNN 2D | [24] | |
likelihood ratios | Pruebas de repetición de dígitos, no-palabras y oraciones | [18] | |
SVM, RF y RNN | Señales de voz | [19] | |
SVM y feed-forward neural network | Fuente glotal y coeficientes cepstrales de frecuencia Mel | [20] | |
Naive Bayes, SVM y ANN | Longitud media de emisiones y estructuras gramaticales | , y | [21] |
4 Conclusiones
Este estudio se propuso un pipeline en cascada de etapas, que permite, a través de un enfoque simple y eficiente, la detección de SLI en niños. La precisión del modelo de , sugiere su viabilidad clínica como herramienta de detección temprana de SLI. En la primera etapa, se realizó una extracción de características y una reducción de dimensionalidad de los datos usando los métodos de Random Forest (RF) y correlación en conjunto, logrando reducir de a variables. En la segunda etapa, se estimaron las variables más predictivas usando regresión logística, obteniéndose variables finales de las de la etapa anterior. Estas variables son usadas en la última etapa, para detectar el trastorno SLI en niños a partir de transcripciones de narrativas espontáneas. En resumen, el pipeline diseñado permitió reducir de variables a variables, lo que da una luz en la detección de SLI.
El pipeline propuesto, presenta tres fortalezas notables. Es de baja complejidad computacional; presenta una reducción de dimensionalidad de los datos siguiendo criterios precisos a partir de los datos y permite un tratamiento de la información en varios estadios, permitiendo realizar una selección de las características que logran un gran nivel predictivo de la variable objetivo. La combinación de NLP y ML abre nuevas posibilidades para diagnósticos precisos y eficientes, con un potencial impacto en la identificación temprana y el diseño de intervenciones personalizadas. En cuanto a las limitaciones, se considera lo experimental del proyecto, en tanto no fue probado con otros tipos de datos; también la estimación del valor del clasificador, puede ser óptimo o no, en muchos casos es un valor empírico que busca minimizar el error en la etapa de clasificación, por ende puede tener un rango de posibles valores. Resulta importante destacar en cuanto a las iteraciones de las regresiones que no siempre es conveniente proceder hasta hallar el mínimo conjunto posible de características. Dado que pueden ocurrir dos escenario. Uno donde se tiene un numero importante de variables que afectan en gran medida la capacidad del modelo de predecir la variable objetivo, y otro donde se tiene una selección reducida de características. En el primer caso se recomienda continuar efectuando regresiones con el fin de reducir la dimensión de trabajo. No obstante en el segundo caso, se puede optar por no correr otra regresión, en tanto se perderían variables de interés por una mejoría despreciable en el modelo. Esto queda sujeto al caso de uso y la consulta de un profesional en el área. Futuras investigaciones se centrarán en explorar la aplicación de este enfoque en poblaciones más amplias, evaluar su utilidad en entornos clínicos, adaptar el pipeline a varios tipos de datos, así como implementar esta metodología en otros campos.
5 Disponibilidad del software
El software utilizado en este estudio está disponible en la plataforma de desarrollo colaborativo https://github.com/SantiagoarenaDS/Pipeline-SLI-JAIIO2024, accessed: 2024-24-03
References
- [1]
- [2]
- [3] Leonard, L.B.: Children with Specific Language Impairment. Bradford Books (2014)
- [4] Sharma, Y., Singh, B.K.: One-dimensional convolutional neural network and hybrid deep-learning paradigm for classification of specific language impaired children using their speech. Computer Methods and Programs in Biomedicine 213, 106487 (2022) doi:10.1016/j.cmpb.2021.106487
- [5] Barua, P.D., Aydemir, E., Dogan, S., Erten5, M., Kaysi, F., Tuncer, T., Fujita, H., Palmer, E., Acharya1, U.R.: Novel favipiravir pattern-based learning model for automated detection of specific language impairment disorder using vowels. Neural Computing and Applications (35), 6065–6077 (2023) doi:10.1007/s00521-022-07999-4
- [6] Association, A.P.: Diagnostic and Statistical Manual of Mental Disorders, DSM-. Amer Psychiatric Pub Inc (2022)
- [7] Webster, R., Majnemer, A., Platt, R., Shevell, M.: The predictive value of a preschool diagnosis of developmental language impairment. Neurology 12(63), 2327–2331 (2004) doi:10.1212/01.wnl.0000147472.33670.b6
- [8] Pentimonti, J.M., Murphy, K.A., Justice, L.M., Logan, J.A.R., Kaderavek, J.N.: School readiness of children with language impairment: predicting literacy skills from pre-literacy and social–behavioural dimensions. International Journal of Language & Communication Disorders 51(2), 148–161 (2016) doi:10.1111/1460-6984.12193
- [9] Catts, H., Fey, M., Tomblin, J., Zhang, X.: A longitudinal investigation of reading outcomes in children with language impairments. Journal of Speech, Language, and Hearing Research 6(45), 1142–1157 (2002) doi:10.1044/1092-4388(2002/093)
- [10] Hogan, T.F., Bridges, M.S., Justice, L.M., Cain, K.: Increasing higher level language skills to improve reading comprehension. Focus on Exceptional Children 44(3), 1–20 (2011) doi:10.17161/FOEC.V44I3.6688
- [11] Beitchman, J.H., Brownlie, E.B., Inglis, A., Wild, J., Ferguson, B., Schachter, D., Lancee, W., Wilson, B., Mathews, R.: Seven-year follow-up of speech/language impaired and control children: psychiatric outcome. Journal of Child Psychology and Psychiatry 37(8), 961–970 (1996) doi:10.1097/00004583-199411000-00015
- [12] Stanton-Chapman, T., Justice, L., Grant, S.L.: Social and behavioral characteristics of preschoolers with specific language impairment. Linguistics, Education, Psychology 1 (2007) doi:10.1177/02711214070270020
- [13] Justice, L.M., Ahn, W.Y., Logan, J.A.R.: Identifying children with clinical language disorder: An application of machine-learning classification. Journal of Learning Disabilities 52(5), 351–365 (2019) doi:10.1177/0022219419845070
- [14] Gabani, K., Solorio, T., Liu, Y., Hassanali, K., Dollaghan, C.A.: Exploring a corpus-based approach for detecting language impairment in monolingual English-speaking children. Artificial intelligence in medicine 53 3, 161–70 (2011) doi:10.1016/j.artmed.2011.08.001
- [15] MacFarlane, H., Gorman, K., Ingham, R., Presmanes Hill, A., Papadakis, K., Kiss, G., van Santen, J.: Quantitative analysis of disfluency in children with autism spectrum disorder or language impairment. PLOS ONE 12(3), 1–20 (03 2017) doi:10.1371/journal.pone.0173936
- [16] Kaushik, M., Baghel, N., Burget, R., Travieso, C.M., Dutta, M.K.: Slinet: Dysphasia detection in children using deep neural network. Biomedical Signal Processing and Control 68, 102798 (2021)
- [17] Gray, S.: Diagnostic accuracy and test-retest reliability of nonword repetition and digit span tasks administered to preschool children with specific language impairment. J Commun Disord 36(2), 129–151 (2003) doi:10.1016/s0021-9924(03)00003-0
- [18] Armon-Lotem, S., Meir, N.: Diagnostic accuracy of repetition tasks for the identification of specific language impairment (SLI) in bilingual children: evidence from Russian and Hebrew. Int J Lang Commun Disord 51(6), 715–731 (2016) doi:10.1111/1460-6984.12242
- [19] Slogrove, K.J., van der Haar, D.: Specific language impairment detection through voice analysis. In: Abramowicz, W., Klein, G. (eds.) Business Information Systems. Lecture Notes in Business Information Processing, vol. 389. Springer, Cham (2020) doi:10.1007/978-3-030-53337-3_10
- [20] Reddy, M.K., Alku, P., Rao, K.S.: Detection of specific language impairment in children using glottal source features. IEEE Access 8, 15273–15279 (2020) doi:10.1109/ACCESS.2020.2967224
- [21] Oliva, J., Serrano, J.I., del Castillo, M.D., Ángel Iglesias: Computational cognitive modeling for the diagnosis of specific language impairment. In: et al., B.B. (ed.) Data and Knowledge for Medical Decision Support. IOS Press (2013)
- [22] Child language data exchange system. https://childes.talkbank.org/, accessed: 2024-24-06
- [23] Brown, R.: A first language: The early stages. George Allen & Unwin, London (1973)
- [24] Bowen, C.: Brown’s stages of syntactic and morphological development. Retrieved from www. speech-language-therapy. com/index. php (1998)
- [25] Wu, X., Kumar, V.: The Top Ten Algorithms in Data Mining. Chapman and Hall/CRC (2009)
- [26] Violini, M.L.: Selección de características. Su aplicación a clasificación de texturas. Bachelor’s thesis, Universidad Nacional de La Plata (12 2014)
- [27] Botting, N., Conti-Ramsden, G.: The role of language, social cognition, and social skill in the functional social outcomes of young adolescents with and without a history of SLI. British Journal of Developmental Psychology 26(2), 281–300 (2008) doi:10.1348/026151007X235891
- [28] Biau, G., Scornet, E.: A random forest guided tour. TEST (25), 197–227 (2016) doi:10.1007/s11749-016-0481-7
- [29] Quintero-Rincón, A., D’giano, C., Batatia, H.: A quadratic linear-parabolic model-based EEG classification to detect epileptic seizures. J Biomed Res. 34(3), 205–212 (2019) doi:10.7555/JBR.33.20190012
- [30] Breiman, L.: Random forests. Machine Learning 45, 5–32 (2001) doi:10.1023/A:1010933404324
- [31] Becker, R.A., Chambers, J.M., Wilks, A.R.: The New S Language. Wadsworth & Brooks/Cole (1988)
- [32] Cheng, Q., Varshney, P., Arora, M.: Logistic regression for feature selection and soft classification of remote sensing data. IEEE Geoscience and Remote Sensing Letters 3(4), 491–494 (2006) doi:10.1109/LGRS.2006.877949
- [33] Zakharov, R., Dupont, P.: Ensemble logistic regression for feature selection. In: Loog, M., Wessels, L., Reinders, M.J.T., de Ridder, D. (eds.) Pattern Recognition in Bioinformatics. pp. 133–144. Springer Berlin Heidelberg, Berlin, Heidelberg (2011) doi:10.1007/978-3-642-24855-9_12
- [34] Flach, P.: Machine Learning, The Art and Science of Algorithms that Make Sense of Data. Cambridge (2012)
- [35] James, G., Witten, D., Hastie, T., Tibshirani, R.: An Introduction to Statistical Learning: with Applications in R. Springer (2013)
- [36] Heumann, C., Schomaker, M., Shalabh: Introduction to Statistics and Data Analysis: With Exercises, Solutions and Applications in R. Springer (2022)
- [37] Quintero-Rincón, A., Muro, V., D’Giano, C., Prendes, J., Batatia, H.: Statistical model-based classification to detect patient-specific spike-and-wave in EEG signals. Computers 9(4),1–14 (2020) doi:10.3390/computers9040085
- [38] Bishop, C.M.: Pattern Recognition and Machine Learning. Springer-Verlag New York, Inc., Secaucus, NJ, USA (2006)
- [39] Barber, D.: Bayesian Reasoning and Machine Learning. Cambridge University Press (2012)
- [40] Kohavi, R.: A study of cross-validation and bootstrap for accuracy estimation and model selection. In: International Joint Conference on Artificial Intelligence (1995)
- [41] Krupinski, E.A.: Receiver operating characteristic (ROC) analysis. Frontline Learning Research 5(3), 31–42 (2017) doi:10.14786/flr.v5i2.250
- [42] Hanley, J., McNeil, B.: The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143(1), 29–36 (1982) doi:10.1148/radiology.143.1.7063747