Die Augmented Reality-Sonographie ermöglicht erstmals die lagerichtige Darstellung von Ultraschall-Bildern direkt auf dem Patienten. Der Untersucher bekommt das Bild in seiner AR-Brille in der Ebene des Schnittbildes angezeigt. Das am Fraunhofer IGD entwickelte Verfahren soll den Erfolg ultraschallgestützter Biopsien und operativer Eingriffe verbessern.
(Darmstadt, 21.04.2020) Wissenschaftler des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD in Darmstadt haben ein Verfahren entwickelt, das Ultraschallsonographie mit Augmented Reality (AR) kombiniert. Die "AR-Sonographie" versetzt Ärzte erstmalig in die Lage, mit Hilfe einer AR-Brille Ultraschallbilder lagerichtig zu betrachten. Der Untersucher schaut dabei direkt auf den Patienten und muss nicht die ganze Zeit auf den Bildschirm des Ultraschallgerätes blicken.
Diverse Anwendungsmöglichkeiten
Die Technologie soll zukünftig die Erfolgsquote ultraschallgeführter Biopsien verbessern. "Die Schnittebene durch den Körper erscheint über den repräsentierten Strukturen direkt am Patienten, so dass der Arzt die Nadel lagerichtig sieht und den Stichkanal leichter nachjustieren kann", erklärt Matthias Noll, stellvertretender Leiter der Abteilung Visual Healthcare Technologies am Fraunhofer IGD. Auch die Sicherheit operativer Eingriffe lässt sich steigern, indem Chirurgen mit der neuen Technologie Eingriffe exakter planen können. Zukünftig könnten anatomische Anomalien oder Gewebeveränderungen sogar direkt im AR-Bild sichtbar werden, indem sie beispielsweise farbig aufleuchten.
Exakte Lagebestimmung durch Fraunhofer-Software
Die lagerichtige Darstellung der Ultraschallbilder basiert auf einem externen optischen Trackingsystem von Ultraschallsonde und AR-Brille. Die Software des Fraunhofer IGD wertet deren Positionen aus und errechnet mit Hilfe diverser Kalibrierungen die relative Lage beider Objekte zueinander. Das Ultraschallbild wird dem Untersucher durch die AR-Brille in seinem Sichtfeld angezeigt.
Erprobung in der Klinik
In den nächsten drei Monaten soll die AR-Sonographie in der Klinik getestet werden. "Um das Signal des Ultraschallgerätes abgreifen zu können, benötigen wir eine Schnittstelle mit der Software des Ultraschalls oder wir nutzen das Monitorkabel", sagt Informatiker Noll. Ansonsten genügten ein herkömmliches Ultraschallgerät, die AR-Brille, das Trackingsystem und ein Laptop, der die AR-Berechnungen macht.
Von den Experten für Visual Computing
Die AR-Visualisierung von Ultraschallbildern ist eine Neuentwicklung des Fraunhofer IGD, international führend in der angewandten Forschung im Visual Computing. Seit Anfang der 2000er Jahre entwickelt das Institut neue Anwendungen für die Ultraschallsonographie. Ein weiterer Schwerpunkt des Fraunhofer IGD ist Augmented Reality (AR), eine Technologie, die in den vergangenen Jahren immer wichtiger geworden ist. So haben die Entwickler zuletzt ein Verfahren etabliert, mit dem Chirurgen AR-gestützt metastatische Lymphknoten schneller und besser lokalisieren können.
Mehr über das Projekt sonAR: www.igd.fraunhofer.de/projekte/sonar-augmented-reality-macht-ultraschall-bilder-direkt-am-patienten-sichtbar
Mehr über unsere Kompetenzen bei der medizinischen Bildgebung: www.igd.fraunhofer.de/kompetenzen/technologien/medical-imaging
Mehr über unsere AR-Technologien für die Medizin: www.igd.fraunhofer.de/projekte/augmented-reality-ar-fuer-medizinische-interventionen
Mehr über unsere Lösungen für die individuelle Gesundheit: www.igd.fraunhofer.de/institut/mission-vision/vision/individuelle-gesundheit
