[AI-supported decision-making in obstetrics - a feasibility study on the medical accuracy and reliability of ChatGPT]

Z Geburtshilfe Neonatol. 2024 Oct 14. doi: 10.1055/a-2411-9516. Online ahead of print.
[Article in German]

Abstract

The aim of this study is to investigate the feasibility of artificial intelligence in the interpretation and application of medical guidelines to support clinical decision-making in obstetrics. ChatGPT was provided with guidelines on specific obstetric issues. Using several clinical scenarios as examples, the AI was then evaluated for its ability to make accurate diagnoses and appropriate clinical decisions. The results varied, with ChatGPT providing predominantly correct answers in some fictional scenarios but performing inadequately in others. Despite ChatGPT's ability to grasp complex medical information, the study revealed limitations in the precision and reliability of its interpretations and recommendations. These discrepancies highlight the need for careful review by healthcare professionals and underscore the importance of clear, unambiguous guideline recommendations. Furthermore, continuous technical development is required to harness artificial intelligence as a supportive tool in clinical practice. Overall, while the use of AI in medicine shows promise, its current suitability primarily lies in controlled scientific settings due to potential error susceptibility and interpretation weaknesses, aiming to safeguard the safety and accuracy of patient care.

Ziel dieser Arbeit ist die Untersuchung der Anwendbarkeit von künstlicher Intelligenz in der Interpretation und Anwendung medizinischer Leitlinien zur Unterstützung klinischer Entscheidungsfindungen in der Geburtshilfe. ChatGPT wurden Leitlinien zu spezifischen geburtshilflichen Fragestellungen zur Verfügung gestellt. Am Beispiel von mehreren klinischen Szenarien wurde die KI daraufhin auf seine Fähigkeit geprüft, korrekte Diagnosen zu stellen und angemessene klinische Entscheidungen zu treffen. Die Ergebnisse variierten, wobei ChatGPT in einigen der fiktiven Szenarien überwiegend korrekte Antworten lieferte, in anderen jedoch unzureichend abschnitt. Trotz der Fähigkeit von ChatGPT, komplexe medizinische Informationen zu erfassen, zeigte die Untersuchung Einschränkungen in der Präzision und Zuverlässigkeit der Interpretationen und Empfehlungen. Diese Diskrepanzen weisen auf die Notwendigkeit einer sorgfältigen Überprüfung durch Fachpersonal hin und betonen die Bedeutung klarer, eindeutiger Leitlinien-Empfehlungen. Es bedarf zudem einer kontinuierlichen Entwicklung auf der technischen Seite um künstliche Intelligenz im klinischen Alltag als Unterstützung nutzen zu können. Insgesamt ist die Nutzung von KI in der Medizin vielversprechend, jedoch aktuell aufgrund potenzieller Fehleranfälligkeit und Interpretationsschwächen vornehmlich in kontrollierten, wissenschaftlichen Settings angebracht, um die Sicherheit und Genauigkeit der Patientenversorgung nicht zu gefährden.

Publication types

  • English Abstract