Objective: In response to high demand and prolonged wait times for cognitive behavioural therapy (CBT) in Ontario, Canada, we developed predictive models to stratify patients into high- or low-intensity treatment, aiming to optimize limited healthcare resources.
Method: Using client records (n = 953) from Ontario Shores Centre for Mental Health Sciences (January 2017-2021), we estimated four binary outcome models to assign patients into complex and standard cases based on the probability of reliable improvement in Patient Health Questionnaire-9 (PHQ-9) and Generalized Anxiety Disorder-7 (GAD-7) scores. We evaluated two choices of cut-offs for patient complexity assignment: models at an ROC (receiver operating characteristic)-derived cut-off and a 0.5 probability cut-off. Final model effectiveness was assessed by assigning treatment intensity (high-intensity or low-intensity CBT) based on the combined performance of both GAD-7 and PHQ-9 models. We compared the treatment assignment recommendations provided by the models to those assigned by clinical assessors.
Results: The predictive models demonstrated higher accuracy in selecting treatment modality compared to provider-assigned treatment selection. The ROC cut-off achieved the highest prediction accuracy of case complexity (0.749). The predictive models exhibited large sensitivity and specificity trade-offs (which influence the rates of patient assignment to high-intensity CBT) despite having similar accuracy statistics (ROC cut-off = 0.749, 0.5 cut-off = 0.690), emphasizing the impact of cut-off choices when implementing predictive models.
Conclusions: Overall, our findings suggest that the predictive model has the potential to improve the allocation of CBT services by shifting incoming clients with milder symptoms of depression to low-intensity CBT, with those at highest risk of not improving beginning in high-intensity CBT. We have demonstrated that models can have significant sensitivity and specificity trade-offs depending on the chosen acceptable threshold for the model to make positive predictions of case complexity. Further research could assess the use of the predictive model in real-world clinical settings.
Plain language summary title: Stratified Care in Cognitive Behavioural Therapy: A Comparative Evaluation of Predictive Modeling Approaches for Individualized Treatment.
Objectif: En réponse à la forte demande et aux temps d’attente prolongés pour recevoir une thérapie cognitivo-comportementale (TCC) en Ontario, au Canada, nous avons élaboré des modèles prédictifs pour stratifier les patients dans un traitement de haute ou de faible intensité, dans le but d’optimiser les ressources limitées en soins de santé.
Méthode: En utilisant les dossiers des clients (n = 953) du Ontario Shores Centre for Mental Health Sciences (janvier 2017–2021), nous avons estimé quatre modèles de résultats binaires pour classer les patients en cas complexes et en cas standard sur la base de la probabilité d’une amélioration fiable des scores mesurés par le Patient Health Questionnaire-9 (PHQ-9) et l’échelle Generalized Anxiety Disorder-7 (GAD-7). Nous avons évalué deux choix de seuils pour l’attribution de la complexité du patient : des modèles à un seuil dérivé de la fonction d’efficacité du récepteur et un seuil de probabilité de 0,5. L’efficacité du modèle final a été évaluée en attribuant l’intensité du traitement (TCC de haute intensité ou de faible intensité) en fonction de la performance combinée des modèles GAD-7 et PHQ-9. Nous avons comparé les recommandations d’attribution de traitement fournies par les modèles à celles attribuées par les évaluateurs cliniques.
Résultats: Les modèles prédictifs ont révélé une plus grande précision quant au choix de la modalité de traitement par rapport au choix du traitement attribué par le prestataire de soins. Le seuil dérivé de la fonction d’efficacité du récepteur a obtenu la plus haute précision de prédiction de la complexité des cas (0,749). Les modèles prédictifs présentaient des compromis importants entre sensibilité et spécificité (qui influencent les taux d’affectation des patients à une TCC de haute intensité) malgré des statistiques de précision similaires (seuil dérivé de la fonction d’efficacité du récepteur = 0,749, seuil de probabilité de 0,5 = 0,690), ce qui met en évidence les conséquences du choix des seuils lors de la mise en œuvre des modèles prédictifs.
Conclusions: Dans l’ensemble, nos constatations laissent penser que le modèle prédictif peut améliorer l’attribution des services de TCC en orientant les nouveaux clients présentant des symptômes de dépression plus légers vers une TCC de faible intensité, les clients les plus susceptibles de ne pas s’améliorer se voyant offrir dès le début une TCC de haute intensité. Nous avons montré que les modèles peuvent présenter des compromis importants entre sensibilité et spécificité en fonction du seuil acceptable choisi pour que le modèle fasse des prédictions positives sur la complexité du cas. D’autres recherches pourraient évaluer l’utilisation du modèle prédictif dans des contextes cliniques réels.
Keywords: cognitive behavioural therapy; community mental health services; depressive disorder; modèles prédictifs; médecine de précision; precision medicine; predictive models; services communautaires de santé mentale; supervisé apprentissage automatique; supervized machine learning; thérapie cognitivo-comportementale; trouble dépressif.
In response to high demand and prolonged wait times for cognitive behavioral therapy (CBT) in Ontario, Canada, we developed predictive models to stratify patients into high- or low-intensity treatment, aiming to optimize limited healthcare resources.We used client records from Ontario Shores Centre for Mental Health Sciences (January 2017–2021). The final model's effectiveness was assessed by assigning treatment intensity (high-intensity or low-intensity CBT) based on treatment success. Treatment success was determined using validated symptom scales. We compared the treatment assignment recommendations provided by the predictive model to those assigned by clinical assessors. Overall, our findings suggest that the predictive model has the potential to improve the allocation of CBT services by shifting incoming clients with milder symptoms of depression to low-intensity CBT, with those at highest risk of not improving beginning in high-intensity CBT.