Background: The purpose of this study was to investigate the effect of word choice on the quality of narrative feedback in ophthalmology resident trainee assessments following the introduction of competency-based medical education at Queen's University.
Methods: Assessment data from July 2017-December 2020 were retrieved from ElentraTM (Integrated Teaching and Learning Platform) and anonymized. Written feedback was assigned a Quality of Assessment for Learning (QuAL) score out of five based on this previously validated rubric. The correlation between QuAL score and specific coaching words was determined using a Spearman's Rho analysis. Independent samples t-tests were used to compare the QuAL score when a specific word was used, and when it was absent.
Results: A total of 1997 individual assessments were used in this analysis. The number of times the identified coaching words were used within a comment was significantly and positively associated with the total QuAL score, with the exception of "next time" (rho=0.039, p=0.082), "read" (rho = 0.036, p = 0.112), "read more" (rho = -0.025, p = 0.256) and "review" (rho = -0.017, p = 0.440). The strongest correlations were for "continue" (rho = 0.182, p < 0.001), "try(ing)" (rho = 0.113, p < 0.001) and "next step" (rho = 0.103, p < 0.001). The mean value of the QuAL score increased when coaching words were used vs. not used with the largest mean difference of 1.44 (p < 0.001) for "reflect". A clear positive relationship was demonstrated between word count and QuAL score (rho = .556, p < 0.001).
Conclusions: The use of certain coaching words in written comments may improve the quality of feedback.
Contexte: L'objectif de cette étude était d'examiner l'effet du choix des termes sur la qualité de l’évaluation narrative dans les évaluations des résidents en ophtalmologie suite à l'introduction de l'enseignement médical fondé sur les compétences à l'Université Queen's.
Méthodes: Les données d'évaluation de juillet 2017 à décembre 2020 ont été extraites d'ElentraTM (plateforme intégrée d'enseignement et d'apprentissage) et anonymisées. Les commentaires écrits ont reçu un score de qualité de l'évaluation pour l'apprentissage (QuAL) sur cinq points, basé sur cette grille d’analyse précédemment validée. La corrélation entre le score QuAL et les termes de coaching précis a été déterminée à l'aide d'une analyse Rho de Spearman. Des tests t d’échantillons indépendants ont été utilisés pour comparer le score QuAL lorsqu'un mot spécifique était utilisé et lorsqu'il était absent.
Résultats: Au total, 1997 évaluations individuelles ont été utilisées dans cette analyse. Le nombre de fois où les termes de coaching identifiés ont été utilisés dans un commentaire était significativement et positivement associé au score QuAL total, à l'exception de « la prochaine fois » (rho = 0,039, p = 0,082), « lire » (rho = 0,036, p = 0,112), « lire davantage » (rho = -0,025, p = 0,256) et « revoir » (rho = -0,017, p = 0,440). Les corrélations les plus fortes concernent « continuer » (rho = 0,182, p < 0,001), « essayer » (rho = 0,113, p < 0,001) et « prochaine étape » (rho = 0,103, p < 0,001). La valeur moyenne du score QuAL a augmenté lorsque des termes de coaching ont été utilisés par rapport à ceux qui ne l'ont pas été, la différence moyenne la plus importante étant de 1,44 (p < 0,001) pour « réfléchir ». Une relation positive claire a été statistiquement démontrée entre le nombre de termes et le score QuAL (rho = 0,556, p < 0,001).
Conclusions: L'utilisation de certains termes de coaching dans les commentaires écrits peut améliorer la qualité de la rétroaction.
© 2024 Curtis, Moon, Hanmore, Hopman, Baxter; licensee Synergies Partners.