Auf der Suche nach einer immersiven Umgebung zur Veranschaulichung der menschlichen Anatomie hat das Ars Electronica Futurelab in Zusammenarbeit mit Forscher*innen von Siemens Healthineers und Univ.-Prof. Dr. Franz Fellner, Vorstand des Zentralen Radiologie Instituts der Johannes Kepler Universität Linz, eine völlig neue Form der Visualisierung von anatomischen Messdaten entwickelt.
Das Ergebnis: Cinematic Anatomy x Deep Space, zuvor unter den Titeln Virtual Anatomy und Cinematic Virtual Anatomy bekannt. Hier werden MRT- und CT-Daten von realen Patient*innen zu fotorealistischen dreidimensionalen Bildern der menschlichen Anatomie zusammengeführt. Organe, Blutgefäße, Muskeln, Sehnen und vieles mehr können überlebensgroß als dreidimensionale, gestochen scharfe Objekte aus allen Blickwinkeln betrachtet werden, wobei die Daten auf Knopfdruck ein- und ausgeblendet werden können.
Das Projekt war so erfolgreich, dass im Jahr 2021 ein weiterer Meilenstein gesetzt wurde: Medizinstudierende der Johannes Kepler Universität Linz können Cinematic Anatomy x Deep Space nun im neuen JKU medSPACE erleben. Dies markiert auch den Übergang von der Prototypen-Phase zu einem vollwertigen Produkt, das vom Ars Electronica Futurelab weltweit angeboten wird. 2022 wurde das Programm, damals noch unter dem Titel Virtual Anatomy, als Gewinner der Kategorie „Best Emerging Technology of the Year“ mit dem renommierten E&T Innovationspreis ausgezeichnet und erhielt zudem die Silbermedaille in der Kategorie „Most Innovative Solution in Digital Health and Social Care“. 2023 gab es für das interdisziplinäre Team bei den Triple E Awards zudem die Silbermedaille als „Innovation and Entrepreneurship Team of the Year“.
So funktioniert Cinematic Anatomy x Deep Space
Mit Cinematic Anatomy x Deep Space können Benutzer*innen nach Belieben durch anatomische Daten navigieren, nahtlos durch verschiedene Schichten wechseln, ein- und ausschneiden und in jeden Bereich und jeden Winkel zoomen. Erreicht wird dies durch die Kombination zweier Programme: Cinematic Rendering von Siemens Healthineers und Cinematic Anatomy x Deep Space des Ars Electronica Futurelab arbeiten Hand in Hand. Cinematic Anatomy x Deep Space basiert auf dem Cinematic Rendering SDK (Software Development Kit), das von Siemens Princeton entwickelt wurde.
Cinematic Rendering wird verwendet, um die MRT- und CT-Daten zu importieren, die Daten zu anonymisieren und die ersten Keyframes zu setzen. Außerdem werden Metadaten für die Visualisierung generiert. Cinematic Anatomy x Deep Space verarbeitet die Daten weiter und fügt wichtige Informationen wie Positionierung, Skalierung und Rotation des 3D-Zeigers hinzu. Cinematic Anatomy x Deep Space sorgt dann zudem für die Feinabstimmung und Darstellung der Daten.
Für die Visualisierung der Renderings verwendet Cinematic Anatomy x Deep Space die Unreal Engine, die direkt mit dem SDK kommuniziert. Zusätzliche Einstellungen in der Engine ermöglichen ein optimiertes Stereorendering insbesondere für große Displays und Wände.
Cinematic Anatomy x Deep Space photo: Robert Bauernhansl
Cinematic Anatomy x Deep Space photo: Robert Bauernhansl
Cinematic Anatomy x Deep Space photo: Robert Bauernhansl
Cinematic Anatomy x Deep Space photo: Robert Bauernhansl
Cinematic Anatomy x Deep Space photo: Robert Bauernhansl
Der Entwicklungsprozess
Alles begann mit Künstler*innen und Forscher*innen, die nach Möglichkeiten suchten, die Kraft der Animation aus der Welt des Kinos auf jene der Medizin zu übertragen. Die bildbasierte Beleuchtungsberechnung, eine neue Methode, die es ermöglichte, CT- und MRT-Messdaten in eine plastische, fotorealistische Darstellung zu verwandeln, löste diese Revolution aus.
Die beeindruckenden Ergebnisse entfalteten 2015 im Deep Space 8K des Ars Electronica Center ihr volles Potenzial. Eine breite Öffentlichkeit konnte nun die dreidimensionale anatomische Welt in einer 16 mal 9 Meter großen 8K-Umgebung erleben. Von da an weitete sich das Programm stark aus: von regelmäßigen Vorlesungen für Studierende über eine neue Kommunikationsplattform für Spitzenmediziner*innen bis hin zu Livestreams von Operationen.
Das Programm in all seinen Formen war so erfolgreich, dass die Johannes Kepler Universität in Linz beschloss, es noch weiter auszubauen – durch den Bau eines eigenen Projektionsraums. Damit öffnete der JKU medSPACE seine Pforten: eine weltweit einzigartige Möglichkeit, Anatomie an einer Universität zu erleben. Alles über den JKU medSPACE können Sie auf unserer Projektseite nachlesen.
Lesen Sie mehr über Cinematic Anatomy x Deep Space und Cinematic Rendering am Ars Electronica Blog:
Further innovation award for Futurelab project
The interdisciplinary team around the “Virtual Anatomy” software – Johannes Kepler University (JKU), Siemens Healthineers, and Ars Electronica Futurelab – has won the silver medal for “Innovation and Entrepreneurship Team of the Year” at the prestigious Triple E Awards.
Prestigious innovation award for Futurelab project
The “Virtual Anatomy” software implemented by the Ars Electronica Futurelab in cooperation with Siemens Healthineers and the Johannes Kepler University has been awarded “Best Emerging Technology of the Year” at the prestigious E&T Innovation Awards – and snatched a silver medal as well. Congratulations to the teams!
Cinematic Rendering: Big-Screen Anatomy
Cinematic Rendering takes 3-D depictions of the human body to the next level of image quality. This project, which was developed by Siemens Healthcare and is now being shown in Deep Space 8K, is a vivid example of how science too can benefit from artistic impetus.
Credits
Ars Electronica Futurelab: Roland Haring, Florian Berger, Friedrich Bachinger, Patrick Müller, Otto Naderer, Erwin Reitböck, Johannes Pöll, Kerstin Blätterbinder, Marianne Eisl, Andreas Pramböck
Medical-Scientific Director: Prim. Univ. — Prof. Dr. Franz Fellner (Kepler Universitätsklinikum/Department of Radiology)
PARTNER: Siemens Healthineers; Johannes Kepler Universität (JKU); Kepler Universitätsklinikum (KUK)