Notre-Dame Immersive

Im April 2019 wurde die weltberühmte Kathedrale Notre-Dame de Paris bei einem verheerenden Brand stark beschädigt, jahrelange Wiederaufbau- und Restaurierungsarbeiten waren nötig. Anlässlich der Wiedereröffnung im Dezember 2024 hat das Ars Electronica Futurelab gemeinsam mit den französischen Start-ups Iconem und Histovery die weltberühmte Kathedrale als immersives Erlebnis in den Deep Space 8K gebracht. Besucher*innen können hier in stereoskopischem 3D ein riesiges Modell des Gebäudes erkunden und seine Besonderheiten entdecken: von einer Reise durch die beeindruckende Architektur über historische Darstellungen bis zu überlebensgroßen Details der kunstvollen Glasfenster. 

Der Bau von Notre-Dame de Paris war ebenso monumental wie die Ereignisse, mit denen die Kathedrale ein Ort für die Geschichtsbücher wurde: Nach beinahe 200-jähriger Bauzeit 1345 fertiggestellt, war die Kathedrale Schauplatz der Krönung Napoleons Bonapartes zum Kaiser und wurde in Victor Hugos Roman “Der Glöckner von Notre-Dame“ verewigt. In der Nacht vom 15. April 2019 zerstörte ein Großbrand die Kathedrale fast vollständig – über 600 Feuerwehrleute waren im Einsatz, um Notre-Dame zu retten. Fast 1.000 Menschen waren am Wiederaufbau beteiligt, finanziert von annähernd einer Milliarde Euro an Spenden. Notre-Dame Immersive im Deep Space 8K macht diese umfangreichen Restaurierungsarbeiten ebenso auf neue Weise sichtbar wie den Bau der Kathedrale und ihre architektonischen Besonderheiten.

Die digitale Architektur von Notre-Dame Immersive beruht auf Daten des renommierten Kunsthistorikers Andrew Tallon, der 2010 mithilfe von Laserscans eine detaillierte Punktwolke der Kathedrale erstellt hatte. Nach Tallons Tod gingen die Daten an das französische Start-up Iconem, dessen Team den Datensatz mit moderner Technologie vervollständigte. Diese Punktwolke ist die einzige detaillierte Digitalisierung der Kathedrale vor dem Brand von 2019 und bildet daher den zentralen Bestandteil der digitalen Aufbereitung für den Deep Space 8K. 

Detailreiche Einblicke in die Geschichte

Die Daten der Punktwolke umfassen über eine Milliarde Punkte, wobei der Großteil die Innenräume der Kathedrale detailliert abbildet. Um diese gewaltigen Datenmengen im Deep Space 8K darstellen zu können, wurde die Punktwolke in verschiedene Abschnitte unterteilt, die von den Infotrainer*innen erkundet werden können. An einigen Orten gibt es zusätzlich besondere Details zu entdecken wie 360-Grad-Panoramen, 3D-Modelle und ein hochauflösendes Bild der Fensterrose des Westportals. Diese ergänzenden Inhalte stammen vom Start-up Histovery, das zudem ein 3D-Modell der Kathedrale während des Brandes zur Verfügung stellte. Vom Futurelab in 3D animiert, wird das Ausmaß des Feuers in Notre-Dame für die Besucher*innen im Deep Space 8K damit eindrücklich erfahrbar. 

Die Panoramen, Bilder und 3D-Modelle sind an den Originalschauplätzen innerhalb und außerhalb von Notre-Dame als sogenannte „Points of Interest“ eingebettet. Diese erscheinen als funkelnde Kugeln innerhalb der Punktwolke der Kathedrale und geben bei Annäherung Einblicke in die Baugeschichte im 12. Jahrhundert und die Restaurierungsarbeiten nach dem verheerenden Brand. 

Das Projekt wird interaktiv über einen Controller gesteuert, sodass die Präsentator*innen sich frei zwischen den Points of Interest bewegen und gezielt auf die Interessen und Fragen des Publikums eingehen können. Notre-Dame Immersive hebt so auch eindrücklich die Bedeutung neuer Technologien bei der Erhaltung und Vermittlung des kulturellen Erbes der Menschheit hervor. 

Die Technologie hinter Notre-Dame Immersive

Da Andrew Tallons Punktwolke aus über einer Milliarde Punkten besteht, war es eine Herausforderung, sie in Echtzeit für den Deep Space 8K sowie in einem Video im Museum of Fine Arts in Houston, USA, darzustellen. Für die Echtzeit-Darstellung musste das Futurelab ein sorgfältiges Gleichgewicht zwischen Qualität und Bildern pro Sekunde finden. Dies erforderte dynamische Anpassungen, da sich die Dichte der Punktwolke je nach virtuellem Standort der Betrachter*innen ändert. Folglich wurden die Lücken zwischen den Punkten bei einer Verringerung der Anzahl sichtbarer Punkte deutlicher, wodurch schwarze Bereiche entstanden. Wenn diese Lücken eine bestimmte Größe erreichten, begann das Bild zu flackern, wenn sich die Kamera bewegte. Um dieses Problem zu beheben, vergrößerte das Team jeden gerenderten Punkt dynamisch, um ein kontinuierliches visuelles Erlebnis zu gewährleisten und ein durch den negativen Raum verursachtes Flackern zu vermeiden.

Bei der Videoversion wurde dieses Problem noch deutlicher, da es erst sichtbar wurde, nachdem die Sequenz in der endgültigen Ausgabequalität gerendert wurde. Entgegen den Erwartungen haben selbst High-End-PCs Schwierigkeiten, beim Rendern alle Punkte auf einmal anzuzeigen. Um dieses Problem zu lösen, wurden alle Einstellungen der Punktwolke für jede Kameraperspektive sorgfältig abgestimmt, um das bestmögliche Ergebnis zu erzielen.

Immersives Video für Houston

Am 23. November 2024 feierte Notre-Dame Cathedral: An Immersive Experience in der Cullinan Hall des Museum of Fine Arts in Houston, USA, Premiere. Um die drei monumentalen Wände mit einer Breite von 18,3 bis 19,3 Metern und einer Höhe von 9,15 Metern zu bespielen, wurde die steuerbare stereoskopische 3D-Version für den Deep Space 8K in eine animierte 14-minütige Präsentation in 2D umgewandelt.

Da die Projektion in Houston ohne Untertitel oder Voiceover präsentiert wird – im Gegensatz zu den Moderator*innen im Deep Space 8K – bietet sie die Möglichkeit, sich dem Projekt aus einer anderen Perspektive zu nähern. Da die Projektion in der Ausstellung in einer Schleife läuft, ist es wichtig, dass die Besucher*innen sich dem Kunstwerk jederzeit anschließen können, ohne das Gefühl zu haben, etwas verpasst zu haben oder den zum Verständnis notwendigen Kontext zu missen. Das Werk wurde daher als ein langsames, atmosphärisches Kunstwerk konzipiert, das die Weite der Cullinan Hall nutzt. Durch die Ausleuchtung des Raums mit sanftem Licht aus den Projektionen soll es die Ehrfurcht hervorrufen, die man empfinden kann, wenn man in der echten Notre-Dame steht.

Um sich an die unterschiedliche Umgebung anzupassen, entwickelte das Futurelab eine spezielles nDisplay-Setup, um die virtuelle Welt in der Cullinan Hall abzubilden. nDisplay ist ein System in Unreal Engine, das Multi-Display-Rendering und -Synchronisation für immersive Umgebungen wie virtuelle Produktion, Simulatoren oder großflächige Visualisierungen ermöglicht. Einfach ausgedrückt funktioniert ein nDisplay-Setup wie eine Reihe von Fenstern, wobei eine Kamera an einem vordefinierten Blickwinkel positioniert ist. Alles, was die Kamera durch diese „Fenster“ sieht, wird gerendert, wodurch ein asymmetrisches Sichtfeld ermöglicht und eine immersive Perspektive von einem bestimmten optimalen Punkt aus geschaffen wird.

Während das Publikum das Innere der Kathedrale betrachtet, können alle drei Wände mit den verfügbaren Daten gefüllt werden. Außerhalb der Kathedrale wird jedoch deutlich, dass die Punktwolke nicht über die nächstgelegenen Häuserfronten hinausreicht, sodass die Projektionen leer erscheinen. Glücklicherweise konnte das Team verschiedene Bilder der Umgebung von Notre-Dame verwenden und Techniken wie „Structure from Motion“ und Gaussian Splatting einsetzen, um die Umgebung zu rekonstruieren. Das Futurelab modifizierte dann die Datenstruktur, um sie in das Partikelsystem der Unreal Engine zu integrieren, und passte mehrere Parameter an, um das Aussehen der Punktwolke an die KI-generierte Umgebung anzugleichen.

Kulturelles Welterbe bei der Ars Electronica

Die Ars Electronica startete ihr Engagement im Bereich Cultural Heritage kurz nach der Eröffnung des Deep Space im Jahr 2009 mit einem Gigapixel-Bild von “Das letzte Abendmahl” (Daten von Haltadefinizione) und einer 3D-Punktwolke von Pompei (erstellt von CyArk). Damit konnte ein breites Publikum zum ersten Mal im Deep Space des Ars Electronica Center überlebensgroß und in stereoskopischem 3D in kulturelles Welterbe eintauchen. Es folgten zahlreiche ebenso einmalige wie hochkarätige dreidimensionale Einblicke – zum Beispiel in das antike Rom, Venedig von den Kanälen bis zum Dogenpalast, die Cheops-Pyramide und eine virtuelle Rekonstruktion der von den Nazis zerstörten Linzer Synagoge. Gigapixelbilder ermöglichen zudem seither, an weltberühmte Gemälde heranzuzoomen wie nirgendwo sonst – seien es Werke aus der Sixtinischen Kapelle, von da Vinci, Picasso, Caravaggio, Botticelli, de Goya, Klimt, Schiele, Van Eyck, Bruegel der Ältere und vielen mehr. 

Credits

Ars Electronica Futurelab: Roland Haring, Raphael Schaumburg-Lippe
Ars Electronica: Melinda File, Michaela Wimplinger
PARTNER: Iconem, Histovery

Notre-Dame Immersive wird vom österreichischen Außenministerium und dem Institut Français d’Autriche im Rahmen der Strategie für die internationale Verbreitung der Kultur- und Kreativwirtschaft unterstützt. Weitere Fördergeber*innen sind das Dorotheum und das Land OÖ/Kultur.