Background: To investigate the inter- and intraobserver variability in comparison to an expert gold standard of the new and modified renal cyst Bosniak classification proposed for contrast-enhanced ultrasound findings (CEUS) by the European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) in 2020.
Materials and methods: 84 CEUS examinations for the evaluation of renal cysts were evaluated retrospectively by six readers with different levels of ultrasound expertise using the modified Bosniak classification proposed for CEUS. All cases were anonymized, and each case was rated twice in randomized order. The consensus reading of two experts served as the gold standard, to which all other readers were compared. Statistical analysis was performed using Cohen's weighted kappa tests, where appropriate.
Results: Intraobserver variability showed substantial to almost perfect agreement (lowest kappa κ=0.74; highest kappa κ=0.94), with expert level observers achieving the best results. Comparison to the gold standard was almost perfect for experts (highest kappa κ=0.95) and lower for beginner and intermediate level readers still achieving mostly substantial agreement (lowest kappa κ=0.59). Confidence of rating was highest for Bosniak classes I and IV and lowest for classes IIF and III.
Conclusion: Categorization of cystic renal lesions based on the Bosniak classification proposed by the EFSUMB in 2020 showed very good reproducibility. While even less experienced observers achieved mostly substantial agreement, training remains a major factor for better diagnostic performance.
ZIEL: Untersuchung der Inter- und Intraobserver-Variabilität im Vergleich zu einem Experten-Goldstandard der neuen und modifizierten Bosniak-Klassifikation von Nierenzysten, die von der European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) im Jahr 2020 für Befunde im kontrastverstärkten Ultraschall (CEUS) vorgeschlagen wurde.
Material und methoden: 84 CEUS-Untersuchungen zur Beurteilung von Nierenzysten wurden retrospektiv von 6 Beobachtern mit unterschiedlicher Ultraschallexpertise anhand der für CEUS vorgeschlagenen modifizierten Bosniak-Klassifikation ausgewertet. Alle Fälle wurden anonymisiert, und jeder Fall wurde in randomisierter Reihenfolge 2-mal bewertet. Als Goldstandard diente der Konsens der Auswertung von 2 Experten, mit dem alle anderen Beobachter verglichen wurden. Die statistische Analyse erfolgte, sofern anwendbar, mittels Cohens Kappa.
Ergebnisse: Die Intraobserver-Variabilität zeigte eine erhebliche bis nahezu perfekte Übereinstimmung (niedrigstes Kappa κ=0,74; höchstes Kappa κ=0,94), wobei die Beobachter auf Expertenebene die besten Ergebnisse erzielten. Der Vergleich mit dem Goldstandard war für Experten nahezu perfekt (höchstes Kappa κ=0,95) und für Anfänger und Fortgeschrittene geringer, wobei dennoch meist eine erhebliche Übereinstimmung erzielt wurde (niedrigstes Kappa κ=0,59). Das Konfidenzniveau war für die Bosniak-Klassen I und IV am höchsten und für die Klassen IIF und III am niedrigsten.
Schlussfolgerung: Die Kategorisierung der zystischen Nierenläsionen nach der von der EFSUMB im Jahr 2020 vorgeschlagenen Bosniak-Klassifikation zeigte eine sehr gute Reproduzierbarkeit. Auch wenn selbst weniger erfahrene Beobachter meist eine erhebliche Übereinstimmung erzielten, ist die Ausbildung weiterhin ein wichtiger Faktor für eine bessere diagnostische Leistung.
Thieme. All rights reserved.