[From imaging to interaction with 3D models: technical aspects]

Chirurgie (Heidelb). 2024 Dec 23. doi: 10.1007/s00104-024-02214-7. Online ahead of print.
[Article in German]

Abstract

Augmented and virtual reality (AR and VR, respectively) are already being used or evaluated in some medical fields: however, the widespread application is still hampered by inconsistent and often confusing terminology, in particular for people who are not familiar with current developments. Additionally, the technical principles and requirements for its use are often insufficiently well known. This overview article therefore aims to clarify the most important terminology and presents the current technical state of the art, spanning from the requirements of medical imaging, through 3D models and the various forms of visualization to the interaction possibilities within VR and AR. This should help to facilitate a common language among developers and users and to ensure that the potentials offered by digital assistive technologies can be fully exploited in the future.

Augmented und Virtual Reality (AR bzw. VR) werden bereits in einigen medizinischen Bereichen angewendet bzw. erprobt. Dem breiten Einsatz stehen allerdings noch uneinheitliche und für Personen, die nicht mit aktuellen Entwicklungen vertraut sind, oftmals verwirrende Begriffsdefinitionen entgegen. Außerdem sind die technischen Grundlagen und Anforderungen für die Verwendung häufig zu wenig bekannt. Daher soll dieser Übersichtsartikel die wichtigsten Begrifflichkeiten erläutern und den aktuellen technischen Stand darlegen, indem er einen Bogen spannt von den Anforderungen bei der medizinischen Bildgebung, über 3D-Modelle und die verschiedenen Arten der Visualisierung bis hin zu den Möglichkeiten der Interaktion in VR und AR. Dies soll dabei helfen, dass Entwickler und Anwender zukünftig eine gemeinsame Sprache sprechen und die Potenziale digitaler assistiver Technologien voll ausgeschöpft werden können.

Keywords: Assistive technologies; Augmented reality; Immersion; Segmentation; Virtual reality.

Publication types

  • English Abstract
  • Review