Study objective: This study investigates the potential to improve emergency department (ED) triage using machine learning models by comparing their predictive performance with the Canadian Triage Acuity Scale (CTAS) in identifying the need for critical care within 12 h of ED arrival.
Methods: Three machine learning models (LASSO regression, gradient-boosted trees, and a deep learning model with embeddings) were developed using retrospective data from 670,841 ED visits to the Jewish General Hospital from June 2012 to Jan 2021. The model outcome was the need for critical care within the first 12 h of ED arrival. Metrics, including the areas under the receiver-operator characteristic curve (ROC) and precision-recall curve (PRC) were used for performance evaluation. Shapley additive explanation scores were used to compare predictor importance.
Results: The three machine learning models (deep learning, gradient-boosted trees and LASSO regression) had areas under the ROC of 0.926 ± 0.003, 0.912 ± 0.003 and 0.892 ± 0.004 respectively, and areas under the PRC of 0.27 ± 0.01, 0.24 ± 0.01 and 0.23 ± 0.01 respectively. In comparison, the CTAS score had an area under the ROC of 0.804 ± 0.006 and under the PRC of 0.11 ± 0.01. The predictors of most importance were similar between the models.
Conclusions: Machine learning models outperformed CTAS in identifying, at the point of ED triage, patients likely to need early critical care. If validated in future studies, machine learning models such as the ones developed here may be considered for incorporation in future revisions of the CTAS triage algorithm, potentially improving discrimination and reliability.
RéSUMé: OBJECTIF DE L’éTUDE: Cette étude vise à déterminer les possibilités d’amélioration du triage des services d’urgence (DE) au moyen de modèles d’apprentissage automatique en comparant leur rendement prédictif avec l’échelle canadienne d’acuité du triage (ETSC) Déterminer le besoin de soins intensifs dans les 12 heures suivant l’arrivée du DS MéTHODES: Trois modèles d’apprentissage automatique (régression LASSO, arbres à gradient amplifié et modèle d’apprentissage profond avec intégration) ont été développés en utilisant des données rétrospectives de 670841 visites au ED de juin 2012 à janvier 2021. Le modèle a révélé un besoin de soins intensifs dans les 12 premières heures après l’arrivée des urgences. Les mesures, y compris les zones sous la courbe caractéristique du récepteur-opérateur (ROC) et la courbe de précision-rappel (PRC), ont été utilisées pour l’évaluation du rendement. Des scores d’explication additionnelle de Shapley ont été utilisés pour comparer l’importance du prédicteur. RéSULTATS: Les trois modèles d’apprentissage automatique (apprentissage profond, arbres à gradient et régression LASSO) avaient des aires sous le ROC de 0,926 0,003, 0,912 0,003 et 0,892 0,004 respectivement, et des aires sous le PRC de 0,27 0,01, 0,24 0,01 et 0,23 0,01 respectivement. En comparaison, le score CTAS avait une aire sous le ROC de 0,804 0,006 et sous le PRC de 0,11 0,01. Les prédicteurs les plus importants étaient similaires entre les modèles. CONCLUSIONS: Les modèles d’apprentissage automatique ont surpassé l’ACST dans l’identification, au moment du triage des patients en urgence, de ceux qui pourraient avoir besoin de soins critiques précoces. Si les études futures sont validées, des modèles d’apprentissage automatique comme ceux développés ici pourraient être envisagés pour une intégration dans les révisions futures de l’algorithme de triage CTAS, ce qui pourrait améliorer la discrimination et la fiabilité.
Keywords: Artificial Intelligence; Emergency department operations; Emergency department triage; Machine learning.
© 2024. The Author(s), under exclusive licence to the Canadian Association of Emergency Physicians (CAEP)/ Association Canadienne de Médecine d'Urgence (ACMU).