Objectives: POCUS is a core emergency medicine skill and mainstay of early pregnancy assessment. The ultrasound competency assessment tool was developed as an entrustment-based assessment tool for use by content experts evaluating trainees performing multiple POCUS study types. The objective of this study was to evaluate the scoring and extrapolation inferences of the tool within Kane's validity framework when used to assess trainees performing an early pregnancy POCUS.
Methods: This was a multicentered study of emergency medicine residents participating in a POCUS assessment. After a background questionnaire, participants were read a case stem requesting a POCUS evaluation of an early pregnancy patient. Trainees were independently assessed by two fellowship-trained faculty. Descriptive statistics and two-way random, intraclass correlation coefficients, Cronbach's alpha were calculated on the merged data and used to assess all domains. Domain scores and an entrustment score for each participant were used to create a composite score. A one-way analysis of variance was performed.
Results: 36 trainees and 5 assessors completed the study. When used to assess trainee POCUS performance in early pregnancy, the tool demonstrated good to excellent interrater reliability for image acquisition, image generation, clinical integration, and entrustment (intraclass correlation coefficients 80-91 p < .001). The preparation domain had poor, but statistically significant interrater reliability (intraclass correlation coefficient 0.46 p = .04). An analysis of variance suggested the POCUS performance scores differed based on prior experience [F(2,32) = 3.74, p = .021).
Conclusion: This study adds further validity evidence relating to scoring and extrapolation of the ultrasound competency assessment tool when used to assess trainees performing a POCUS study in early pregnancy.
RéSUMé: OBJECTIFS: Le POCUS est une compétence de base en médecine d’urgence et un pilier de l’évaluation précoce de la grossesse. L’outil d’évaluation des compétences par échographie a été conçu comme un outil d’évaluation fondé sur la délégation à l’intention des experts du contenu qui évaluent les stagiaires effectuant plusieurs types d’études POCUS. L’objectif de cette étude était d’évaluer les inférences de cotation et d’extrapolation de l’outil dans le cadre de validité de Kane lorsqu’il est utilisé pour évaluer les stagiaires qui effectuent un POCUS précoce. MéTHODES: Il s’agissait d’une étude multicentrique portant sur des résidents en médecine d’urgence participant à une évaluation POCUS. Après un questionnaire de fond, les participantes ont reçu une fiche de cas demandant une évaluation POCUS d’une patiente enceinte précoce. Les stagiaires ont été évalués de façon indépendante par deux professeurs formés à des bourses. Des statistiques descriptives et des coefficients de corrélation intraclasse aléatoires à deux voies, l’alpha de Cronbach ont été calculés sur les données fusionnées et utilisés pour évaluer tous les domaines. Les scores de domaine et un score de délégation pour chaque participant ont été utilisés pour créer un score composite. Une analyse unidirectionnelle de la variance a été effectuée. RéSULTATS: 36 stagiaires et cinq évaluateurs ont terminé l’étude. Lorsqu’il a été utilisé pour évaluer le rendement de la POCUS des stagiaires au début de la grossesse, l’outil a démontré une fiabilité interrater bonne à excellente pour l’acquisition d’images, la génération d’images, l’intégration clinique et la délégation (coefficients de corrélation intraclasse . 80-.91 p. < 001). Le domaine de préparation avait une fiabilité interévaluatrice faible mais statistiquement significative (coefficient de corrélation intraclasse 0,46 p=. 04). Une analyse de variance a suggéré que les scores de performance du POCUS différaient en fonction de l’expérience antérieure [F(2,32) = 3,74, p =.021). CONCLUSION: Cette étude ajoute des preuves de validité supplémentaires concernant le pointage et l’extrapolation de l’outil d’évaluation des compétences par échographie lorsqu’il est utilisé pour évaluer les stagiaires effectuant une étude POCUS au début de la grossesse.
Keywords: Assessment; Cardiac ultrasound; Competency-based medical education; Early pregnancy; Medical education; POCUS.
© 2025. The Author(s), under exclusive licence to the Canadian Association of Emergency Physicians (CAEP)/ Association Canadienne de Médecine d'Urgence (ACMU).