Background: The development of assistive technologies will become of increasing importance in the coming years and not only in surgery. The comprehensive perception of the actual situation is the basis of every autonomous action. Different sensor systems can be used for this purpose, of which video-based systems have a special potential.
Method: Based on the available literature and on own research projects, central aspects of image-based support systems for surgery are presented. In this context, not only the potential but also the limitations of the methods are explained.
Results: An established application is the phase detection of surgical interventions, for which surgical videos are analyzed using neural networks. Through a time-based and transformative analysis the results of the prediction could only recently be significantly improved. Robotic camera guidance systems will also use image data to autonomously navigate laparoscopes in the near future. The reliability of the systems needs to be adapted to the high requirements in surgery by means of additional information. A comparable multimodal approach has already been implemented for navigation and localization during laparoscopic procedures. For this purpose, video data are analyzed using various methods and these data are fused with other sensor modalities.
Discussion: Image-based supportive methods are already available for various tasks and will become an important aspect for the surgery of the future; however, in order to be able to be reliably implemented for autonomous functions, they must be embedded in multimodal approaches in the future in order to provide the necessary security.
Zusammenfassung: HINTERGRUND: Die Entwicklung assistiver Technologien wird in den kommenden Jahren nicht nur in der Chirurgie von zunehmender Bedeutung sein. Die Wahrnehmung der Istsituation stellt hierbei die Grundlage jeder autonomen Handlung dar. Hierfür können unterschiedliche Sensorsysteme genutzt werden, wobei videobasierte Systeme ein besonderes Potenzial aufweisen.
Methode: Anhand von Literaturangaben und auf Basis eigener Forschungsarbeiten werden zentrale Aspekte bildbasierter Unterstützungssysteme für die Chirurgie dargestellt. Hierbei wird deren Potenzial, aber auch die Limitationen der Methoden erläutert.
Ergebnisse: Eine etablierte Anwendung stellt die Phasendetektion chirurgischer Eingriffe dar, für die Operationsvideos mittels neuronaler Netzwerke analysiert werden. Durch eine zeitlich gestützte und transformative Analyse konnten die Ergebnisse der Prädiktion jüngst deutlich verbessert werden. Aber auch robotische Kameraführungssysteme nutzen Bilddaten, um das Laparoskop zukünftig autonom zu navigieren. Um die Zuverlässigkeit an die hohen Anforderungen in der Chirurgie anzugleichen, müssen diese jedoch durch zusätzliche Informationen ergänzt werden. Ein vergleichbarer multimodaler Ansatz wurde bereits für die Navigation und Lokalisation bei laparoskopischen Eingriffen umgesetzt. Hierzu werden Videodaten mittels verschiedener Methoden analysiert und diese Ergebnisse mit anderen Sensormodalitäten fusioniert.
Diskussion: Bildbasierte Unterstützungsmethoden sind bereits für diverse Aufgaben verfügbar und stellen einen wichtigen Aspekt für die Chirurgie der Zukunft dar. Um hier jedoch zuverlässig und für autonome Funktionen eingesetzt werden zu können, müssen sie zukünftig in multimodale Ansätze eingebettet werden, um die erforderliche Sicherheit bieten zu können.
Keywords: Artificial intelligence; Autonomy; Cognitive operating room; Digitalization; Robotics.
© 2022. The Author(s), under exclusive licence to Springer Medizin Verlag GmbH, ein Teil von Springer Nature.