Avatare im OP

Lesedauer beträgt 5 Minuten
Autor: Josef Ruhaltinger

Mixed Reality wird die Welt der Chirurgie grundlegend verändern. Datenbrille und Spezialsoftware errechnen mit den Daten von MRT oder CT-Scans originalgetreue Hologramme. Die verbesserte OP-Technik macht bislang unzugängliche Tumore operabel.

Die Bilder haben etwas Skurriles. Aber sie sind auch beunruhigend. Beobachtet man die Gruppe an Chirurgen, die sich in vollem OP-Ornat im Kreis versammelt hat und mit den Fingern einen unsichtbaren Gegenstand zurechtrückt, dann möchte man die Klinik wechseln. Wer die gleiche Szene durch eine Mixed-Reality-Brille verfolgt, erlebt einen Zeitensprung. Wie bei Raumschiff Enterprise wird für Ärzte und Zuschauer ein Schädel sichtbar. Knochen von poröser Struktur lassen selbst den Laien Böses vermuten. Das Ärzteteam der Asklepios Klinik Altona dreht und wendet des dreidimensionale Bild, um den Verlauf jeder Nervenbahn und jede Ader exakt zu studieren. Es bereitet sich mithilfe des Hologramms auf eine schwierige Operation vor. Dr. McCoy, der legendäre Bordarzt des Raumschiff Enterprise, wäre zufrieden gewesen.

Ein Fall für Dr. McCoy. Datenbrille und Spezialsoftware liefern auf Basis der Patientendaten ein anatomisch perfektes Hologramm. Das OP-Team bereitet schwierige OPs akribisch auf.

Mit Software und Brille

Freilich wäre „Pille“ ohne das Headset ausgekommen, das die Operateure erst zu Sehern macht. Die Brille gemahnt rein designmäßig an ein übergroßes Augenglas eines Oligarchen an der Côte d’Azur. Dabei handelt es sich um einen Computer mit eigenem Betriebssystem, wie er aus Virtual-Reality-Anwendungen vertraut geworden ist: Die Brille erlaubt ihrem Träger, zweidimensionale Scans eines MRTs oder eines CTs in dreidimensionaler Darstellung zu sehen. Dabei lassen sich die Projektionen nach Lust und Laune per Fingerstubs drehen und wenden.

Das Headset zeigt Dinge in Mixed Reality: Im Unterschied zu Virtual oder Augmented Reality bringt „Mixed Reality reale und virtuelle Objekte in Echtzeit zusammen und die Nutzer können miteinander interagieren“, erklärt Marc Angelo Bisotti. Die Anwender sehen die Projektion inmitten der realen Umgebung. Dem Vergleich mit Raumschiff Enterprise folgt Bisotti nur zögerlich. Er beschreibt die Projektionen lieber als „Hologramme, die auf den individuellen Bilddaten der Patienten basieren.“ Bisotti ist Finanzverantwortlicher des Hamburger IT-Unternehmens apoQlar. Gemeinsam mit Gründer Sirko Pelzl ist er dabei, die hauseigene Softwareentwicklung VSI HoloMedicin massen­fähig zu machen. VSI steht für Virtual Surgery Intelligence. Dabei handelt es sich um eine Cloud-basierte Anwendung, die aus MRT- und CT-Aufnahmen ein dreidimensionales Abbild konstruiert und dieses in der Mixed-Reality-Brille darstellt. Das Headset beruht auf der Microsoft-Entwicklung HoloLens, die als unabhängiger Computer mit Windows-Holographic-Betriebssystem konzipiert ist. Die 3D-Brille ist WLAN-fähig und funktioniert ohne zusätzliche Geräte wie PC, Konsole oder andere Mobilgeräte.

Im Package mit der apoQlar-Software begründen die HoloLens-Brillen den neuen Bereich der Holomedizin. Die Arbeitsteilung ist klar: Die Software errechnet aus den eingespeisten Daten das Bild, die Brille macht es sichtbar. Auf Basis der Patientendaten erscheint ein perfektes anatomisches Abbild mit allen Strukturen. Das Spezielle daran: Das Hologramm kann beliebig im Raum positioniert werden. Die reale Umgebung bleibt weiter sichtbar und die Hände der Ärzte sind frei zum Operieren. Dabei erfasst die Brille die Körperposition im Raum und lässt die 3D-Objekte an ihrem zugewiesenen Platz, auch wenn sich der Anwender bewegt.

Ausgangspunkte der Darstellung sind bis zu 500 Aufnahmen einzelner Schichten von Körperregionen, die zuvor von den Patienten angefertigt wurden. apoQlar-Cofounder Bisotti beschreibt den Hauptvorteil der VSI-Software: „Chirurgen haben im Vorfeld die Möglichkeit, anhand der personalisierten Patientendaten den gesamten Operationsablauf lebensnah zu simulieren.“ Die Per­spektiven seien atemberaubend: „Mithilfe der Holomedizin sind Eingriffe möglich, die früher als inoperabel abgelehnt wurden.“

Vermengte Wirklichkeit. Aktuell läuft die holomedizinische Software in zehn deutschen und 40 Kliniken weltweit. Bislang inoperable Tumoren werden machbar.

Das Schicksal einer älteren Dame zeigt, wie die Mixed Reality Leben verändert. Schwer gezeichnet vom Leberkrebs, wurde die Patientin von ihren Ärzten auf die Palliativ-Schiene geschoben (siehe Quellen und Links). Man sagte ihr, dass man nichts mehr für sie tun könne. Die Metastasen hätten vom Darm ausgehend gestreut und die Leber durchsetzt. Der Sohn brachte die Verzweifelte schließlich an das Pius-Hospital in Oldenburg, eine der ersten deutschen Kliniken, die mit Mixed-Reality-Technologie arbeiteten. Die Chirurgen identifizierten mithilfe der VSI-Hologramme die genaue Position und Verwachsungen der Tumore und legten sich für jede Metastase die schonendste Schnittführung zurecht. Der Eingriff verlief erfolgreich, die Patientin genas. Die Leber hatte dank der behutsamen Operationstechnik nach einem Jahr wieder Ursprungsgröße erreicht.

Holomedizin spielt ihre Stärken nicht nur vor und nach einer Operation aus. Sie kommt auch während des Eingriffs zum Einsatz. Die VSI-Software liefert dem Chirurgen-Team Live-Bilder. Ergänzend zu den CT- und MRT-Aufnahmen, die im Vorfeld einer Operation erstellt werden, hat apoQlar eine „Streamer Box“ in das System integriert, mit der Echt-Bilder aus flankierenden Ultraschalluntersuchungen, Fluoroskopien, Endoskopien und anderen klassischen bildgebenden Verfahren direkt und in Echtzeit in die Headsets und damit in das Blickfeld der Ärzte gespiegelt werden. Dafür müssen nur die jeweiligen medizinischen Geräte im Behandlungssaal per HDMI-Kabel mit der Streamer Box verbunden werden. Die behandelnden Ärzte haben so alle notwendigen Informationen live in einer Mixed-Reality-Umgebung vor Augen und können den Verlauf des Eingriffes aus mehreren Perspektiven kontrollieren.

Die VSI-Software bietet auch im Nachgang der OP während der Visite Zugriff auf sämtliche Patientendaten, Laborwerte und CT/MRT-Bilder. Und über die Speech-to-Text Funktion erstellt der Arzt oder die Ärztin noch während der Visite den Befund. Das verschlankt die Arbeitsprozesse und schafft den behandelnden Teams zeitliche Freiräume. Dabei ist die Frage des Datenschutzes nach Aussage von apoQlar-Geschäftsführer Bisotti gelöst. Nach der Operation werden die Daten auf der Brille gelöscht, sie verbleiben lediglich auf den Servern des Krankenhauses. Die Kombilösung aus HoloLens und VSI braucht viel Rechenpower. Nicht jedes Krankenhaussystem ist darauf vorbereitet. Die Software von apoQlar nutzt eine mächtige Cloud-Lösung von – no na – Microsoft, um eine flüssige Darstellung der Bilder zu garantieren. Probleme beim Datendurchsatz wären fatal: Wenn der Chirurg zur Schnittführung an einem menschlichen Organ ansetzt, gelten ruckelnde Bilder als suboptimal. Eine durchgängige IT-Leistung ist daher einer der entscheidenden Faktoren während einer OP. Die 3D-Visualisierungen können dabei aus jedem beliebigen DICOM- (MRI, CT, SPECT, DVT) Datensatz und anderen medizinischen Formaten gewonnen werden. Unabhängig davon, ob PCs, Laptops oder das PACS als Datenträger dienen: Das VSI erstellt automatisch das Hologramm. Aktuell läuft die holomedizinische Software in zehn deutschen und 40 Kliniken weltweit. Auch in österreichischen Spitälern seien bereits Testpakete am Laufen. Namen wollte
Bisotti aber nicht verraten.

Lernen und Lehren mit Brille

Die Verdeutlichung kompliziertester Zusammenhänge macht die VSI-Technologie auch außerhalb des OPs interessant. Die apoQlar-Software ist wie geschaffen, trockene Lehrbücher mit Herzblut zu erfüllen – im wahrsten Sinne des Wortes. Sie verwandelt Aufnahmen aus klassischen Lehrbüchern in reale medizinische Bilder in 3D. Studierende haben so die Möglichkeit, gemeinsam an medizinischen Bildobjekten zu arbeiten. Die Objekte lassen sich frei im Raum bewegen und nach Bedarf in der Größe anpassen. Auf diese Weise sind auch ungewöhnliche und besonders detailreiche Einblicke möglich, die ein völlig neues Verständnis fördern. Die anatomischen Strukturen lassen sich durch die Mixed-Reality-Perspektive leichter nachvollziehen. Die Stärken von Mixed-Reality-Anwendungen unterstützen auch jede Form der professionellen Kommunikation. Kollegen aus anderen Kliniken können Planungen von Eingriffen mit ihrer besonderen Expertise unterstützen. So unglaublich dies ist: Sie sind dann als Hologramm-Avatare für das OP-Personal sichtbar und können sich in Echtzeit mit dem Team vor Ort verständigen – egal wo sie sich auf dem Globus befinden. Eine echt coole Sache – nicht nur für Trekkies. 

Die drei Welten

Es heißt, dass der Begriff „virtuelle Realität“ erstmalig 1987 von Damien Broderick in seinem Roman „The Judas Mandala“ verwendet wurde. Wirklich gesichert ist diese Erklärung nicht. Besser belegt ist die Herkunft des Begriffes „Mixed Reality“. Er tauchte erstmals 1994 in dem Artikel „A Taxonomy of Mixed Reality Visual Displays“ von Paul Milgram und Fumio Kishino auf.

Virtual Reality (VR): Bei einem VR-Erlebnis bewegt sich eine Person mithilfe von spezieller Ausrüstung in einer Computer-generierten Welt. Das VR-Headset versperrt komplett den Blick auf die reale Umgebung. Mithilfe unzähliger Sensoren und Technologien werden die Bewegungen der Person erfasst und daraus ihre Handlungen (oder die ihres Avatars) im virtuellen Raum bestimmt.

Augmented Reality (AR): AR ergänzt die reale Welt vor den Augen durch digitale Objekte und Inhalte, die entweder durch eine spezielle AR-Brille oder durch die Kamera eines Smartphones oder Tablets betrachtet werden können.

Mixed Reality (MR): Mixed Reality ist eine Mischung aus VR und AR. Heute sind mit Mixed Reality Umgebungen gemeint, in denen reale und virtuelle Objekte in Echtzeit miteinander interagieren und auch Anwender mit den Komponenten – ob real oder virtuell – interagieren können. Für MR-Erlebnisse wird ein Headset mit transparenten Gläsern oder einer Kamera benötigt, sodass die reale Welt weiterhin wahrgenommen wird.

Quellen und Links zum Weiterlesen:

Damien Broderick, The Judas Mandala
www.lehmanns.de

Paul Milgram, A Taxonomy of Mixed Reality Visual Displays
Link zum PDF

NDR-Beitrag: Leberkrebs – Holomedizin liefert bei Operation 3-D-Bild
www.ardmediathek.de

apoQlar, Hamburg
www.apoqlar.com

Diese Artikel könnten Sie auch interessieren:

Weiterlesen

MedAustron Ionentherapiezentrummit JCI-Akkreditierung für Ambulatorium

Die internationale Akkreditierungsstelle für Gesundheitseinrichtungen Joint Commission International (JCI) hat die ambulante Versorgung bei MedAustron hinsichtlich umfangreicher Qualitätsstandards geprüft und als Auszeichnung für das Engagement für eine kontinuierlich sichere und hochwertige Patientenversorgung das Goldene Siegel verliehen.