Anlässlich des 50. Jahrestags des Europäischen Patentübereinkommens lud das Europäische Patentamt (EPA) die Ars Electronica ein, einen Ausstellungsraum in seiner Zentrale in München mitzugestalten: das Catalyst lab. Die EPA verfügt über eine extensive Sammlung an Kunstwerken, wovon auch viele mittels ultrahochauflösender Fotografie und Bildmosaikmethoden digitalisiert und archiviert wurden. Die Ars Electronica wurde gebeten, drei Kunstwerke auszuwählen, zu digitalisieren und als Videoinstallation auf einer 12 Meter breiten Projektionsfläche namens “Deep Vision” aufzubereiten. Die technische Herausforderung des Projekts bestand darin, einen Weg zu finden, ultra-hochaufgelöste Bilder mit bis zu 90 Milliarden Pixeln als Video zu animieren.
Der Raum im Untergeschoss des Hauptsitzes des EPA ist fast 1.000 m² groß und beherbergte ursprünglich das Register für Patentanmeldungen. Mit der Digitalisierung der Patenterteilungsverfahren wurde der Raum für diesen Zweck nicht mehr benötigt. In Zusammenarbeit mit der Ars Electronica wurde er in das Catalyst lab umgewandelt – ein einladender Ort für Bedienstete und Besucher*innen mit einem zukunftsweisenden Konzept, das gleichzeitig die DNA des EPA als Patentarchiv bewahrt. Es befasst sich mit den globalen Herausforderungen von heute, die von KI bis Nachhaltigkeit reichen, und untersucht die transformativen Auswirkungen von Technologie auf die Gesellschaft.
Die Ars Electronica wirkte an Inhalten für die Projektionsumgebung Deep Vision mit. Unter dem Namen Gigapixel Editions wurden ausgewählte Kunstwerke aus der Sammlung des EPA mit ultrahochauflösender Fotografie und digitalen Bildmosaiken digital archiviert. Bei dieser Technik werden mehrere hochauflösende Bilder zu einer einzigen digitalen Darstellung jedes Kunstwerks kombiniert. So werden Details sichtbar, welche sonst mit freiem Auge nicht ersichtlich wären. Die ersten drei Kunstwerke aus der Sammlung, die auf diese Weise der Öffentlichkeit zugänglich gemacht wurden, sind Paul Leitners „Sucrologist“ (2016), Afra Eismas „Noonday Sun“ (2019) und Ivan Šuletićs „CFRP Cityscape XI“ (2019).
Die Technologie hinter Gigapixel Editions
Der Animations- und Rendering-Prozess eines Gigapixel-Videos ist äußerst interessant. Die meisten Animationsprogramme haben eine Beschränkung bei der Auflösung der Bilder, die sie verarbeiten können. Dadurch sollen die Ressourcen des PCs nicht überlastet werden und beim Abspielen der Animation eine angemessene Bildrate gewährleistet werden. In unserem Fall haben wir Adobe After Effects verwendet, das Dateien mit bis zu 30.000 x 30.000 Pixeln bearbeiten kann. Das sind insgesamt 900 Millionen (900.000.000) Pixel. Das größte Bild, das wir erhielten und das animiert werden musste, hatte jedoch 90.000 x 100.000 Pixel, was 90 Milliarden (90.000.000.000) Pixeln entspricht.
Von selbst ist After Effects nicht in der Lage, eine so große Auflösung zu bearbeiten. Wer es dennoch versucht, erhält schlichtweg eine Fehlermeldung. Aber was wäre, wenn wir die Software dazu bringen könnten, zu glauben, dass sie viele kleinere Bilder verarbeitet, die zufällig in einem ordentlichen Raster angeordnet sind, um das größere Originalbild zu erstellen? Auf diese Weise müsste sie nur das im Speicher behalten, was auf der Leinwand angezeigt wird, und sich nicht um den Rest kümmern. Das bedeutete, das Bild in kleinere Teile aufzuteilen.
Vorbereitungsarbeit
Glücklicherweise kann Photoshop Auflösungen von bis zu 300.000 x 300.000 Pixel verarbeiten, sodass die Gigapixel-Standbilder, die wir für die Animation erhalten haben, geöffnet werden konnten. Dadurch wurde es möglich, die ursprünglich riesigen Dateien in einzelne Kacheln mit einer Auflösung von 10.000 x 10.000 Pixel aufzuteilen, die in After Effects importiert und wieder zusammengefügt werden konnten.
Danach war die Bildwiederholrate besser, aber noch nicht gut. Eine weitere Lösung musste her. Durch die Erstellung einer einzelnen Version der Originaldatei mit niedriger Auflösung (1/8 der Größe), den Import dieser Datei in After Effects und die anschließende Aufskalierung um 800 % erhalten wir ein Proxy-Bild, das etwas unscharf aussieht, aber eine viel bessere Bildwiederholrate zu Folge hat, da es viel kleiner ist. Schließlich wurde das Raster der hochauflösenden Kacheln an die Proxy-Datei angehängt und auf unsichtbar gesetzt, damit After Effects sie beim Animieren nicht für jeden Frame im Arbeitspeicher behalten muss.
Animation
Durch die Animation der Position und der Zoomstufe der Proxy-Dateien animieren wir auch das hochauflösende Raster, da es an das Proxybild gekoppelt ist. Die Animationen wurden entsprechend dem Inhalt der einzelnen Gigapixel-Bilder erstellt, wobei besonderes Augenmerk auf interessantere Bereiche gelegt wurde. Es wurde besonders darauf geachtet, die Bewegung eher langsam zu halten, um keine Motion Sickness hervorzurufen – da die endgültige Projektionsfläche sehr groß war und das Publikum direkt davor stehen würde.
Rendering
Das Rendern derart großer Videos ist nicht sehr verbreitet und brachte daher seine eigenen Herausforderungen mit sich. Da das Wiedergabeformat dem Kunden über einen längeren Zeitraum des Projekts nicht klar war, wurden mehrere Ausgabeformate zum Testen erstellt. Die Zielauflösung betrug 9480 x 2160 Pixel bei 60 Bildern pro Sekunde. Unter anderem wurden Bildsequenzen gerendert, um die Qualität so weit wie möglich zu erhalten. Diese waren am Ende 16.200 Frames lang, was etwa 260 GB pro Sequenz ergab und nicht sehr gut wiedergegeben werden konnte. Schließlich wurde der h264-Code ausgewählt und mit einer hohen Datenrate als mp4 gerendert. Dies führte zu visuell zufriedenstellenden Ergebnissen und einer guten Wiedergabequalität – ein großartiges Erlebnis für die Besucher*innen, die so tief in die Kunstwerke eintauchen können.
Credits
Ars Electronica Futurelab: Patrick Berger (video production and editing)
Ars Electronica: Laura Welzenbach (coordination), Karl Schmidinger (sound and music)
PARTNER: Florian Voggeneder (Gigapixel photography)
Original artworks: Paul Leitner – Sucrologist (2016), Afra Eisma – Noonday Sun (2019), Ivan Šuletić – CFRP Cityscape XI (2019)
Commissioned by the European Patent Organisation in the framework of the Ars Electronica exhibition Catalyst Lab 2023