Zweieinhalb Jahre lang soll es dauern, fünf Partner aus ganz Europa sind daran beteiligt und die Zielsetzung umfasst von der Technik bis hin zu den Inhalten ein großes Feld – das ist Immersify, ein europaweites Forschungsprojekt rund um immersive Medien. „Wir wollen vor allem visuelle oder audiovisuelle Medieninhalte möglichst eindrucksvoll, realistisch anmutend und nachvollziehbar präsentieren“, fasst Roland Haring, technischer Leiter im Ars Electronica Futurelab, die Objektive des EU-Projekts zusammen.
Diese auch umzusetzen ist aber gar nicht so leicht: Um Medien so immersiv wie möglich gestalten zu können, braucht es die richtige Videotechnik, bessere Codecs, Displays, Medienräume, eigens erstellte Inhalte und von technischen Einzelheiten bis hin zu künstlerischen Visionen noch vieles mehr. Dabei geht es um viel mehr als nur einzelne Details: „Immersive Inhalte sind nicht nur normale Videoinhalte in sehr hohen Auflösungen“, berichtet etwa Mauricio Alvarez-Mesa von Spin Digital Technologies GmbH, einer der Partnerinstitutionen. „Content Creators lassen das Publikum den Mikro- und Makrokosmus in noch nie dagewesenen Weisen erfahren und präsentieren Elemente der Realität, die dem nackten Auge verborgen bleiben.“
Hohe Ziele
Damit das auch Wirklichkeit werden kann, muss viel passieren. Weil schöne Inhalte zu gestalten auch zunehmend bedeutet, mit großen Datenmengen zu arbeiten, braucht es eine neue Technologie zur Komprimierung von Daten. Um die neuen Inhalte auch gut abspielen zu können, sollten Media Player und Formate möglichst viele unterschiedliche technische Umgebungen und Devices unterstützen. Techniken wie ultrahohe Auflösung oder CGI in 2-D und 3-D müssen miteinander frei kombinierbar sein können – und alle diese Entwicklungen müssen zugänglich bleiben. Demos am Ars Electronica Festival und dem Marché du Film in Cannes zeigen: Immersify soll nicht hinter verschlossenen Türen vorangetrieben werden.
Visualization Center C, Kuppelkino. Credit: NVAB
„Ein Ziel von immersiven Medien muss sein, Content und Erfahrungen zu schaffen, die so nah an der Wirklichkeit dran sind wie möglich“, erklärt Erik Sundén vom Visualization Center C aus Schweden. „Das ist unmöglich ohne hochmoderner Technologie.“ Er und das Immersify-Team gehen sogar noch einen Schritt weiter: Immersive Medien sollen nicht nur so realitätsnah wie möglich sein, sondern auch Partizipation und Interaktion ermöglichen. „Das Ziel ist, das Publikum den Content erforschen zu lassen, mit ihm zu interagieren und zu partizipieren“, so Mauricio Alvarez-Mesa von Spin Digital.
Immersify am Marché du Film – Festival de Cannes. Credit: Eryk Skotarczak
Das ist schwierig, sobald das Publikum aus mehr als einer Person besteht. Wie schafft man es also, vielen Nutzern und Nutzerinnen gleichzeitig eine immersive Erfahrung zu bieten? „Individuelle Displays sind ein ernsthaftes Problem, wenn wir bedeutende Publikumszahlen erreichen wollen“, weiß Jérôme Paillard vom Marché du Film in Cannes. Aber: „In einigen Jahren könnten wir mehrere Kinos mit immersiven und interaktiven Räumen sehen, wo Zuseher und Zuseherinnen gemeinsam einen Film sehen könnten.“ Medienräume wie der Deep Space 8K in Österreich oder das Visualization Center C in Schweden geben schon jetzt einen Vorgeschmack darauf, was möglich sein könnte.
Eine große Herausforderung, viele Partnerinstitutionen
Wie ist es also mit all diesen Faktoren überhaupt möglich, immersive Medien sinnvoll weiterzuentwickeln? Einerseits hilft es, sich auf einige Kernelemente zu konzentrieren. „Ich glaube, dass technologischer Fortschritt, die Herangehensweise an die Narrative und der Inhalt momentan essentiell für immersive Medien sind“, verrät Maciej Glowiak vom Poznan Supercomputing and Networking Center (PSNC). Im hauseigenen Medienlab arbeitet das Team rund um Glowiak deshalb mit technischen und wissenschaftlichen Fragestellungen zum Thema, während es gleichzeitig mit neuen Inhalten experimentiert.
PSNC – Cave 2.0 Visualisation Installation. Credit: PSNC
Zusätzlich setzt man bei Immersify auch darauf, ExpertInnen aus unterschiedlichen Themengebieten zusammenzubringen, um gemeinsam ein möglichst breites Spektrum abdecken zu können. „Wir möchten verschiedene Partner versammeln, die andere Medieninfrastrukturen haben“, meint Roland Haring vom Ars Electronica Futurelab. „Dann können wir gemeinsam versuchen, die Qualität der Inhalte sowohl inhaltlich als auch technisch zu verbessern und Referenzprojekte zu entwickeln.“
Prima Materia / NOHlab. Credit: Robert Bauernhansl
Neben dem Ars Electronica Futurelab, Spin Digital Video Technologies GmbH aus Berlin und dem polnischen PSNC sind auch Marché du Film – Festival de Cannes aus Frankreich und das Visualization Center C aus Schweden an Immersify beteiligt. Mit Medienräumen wie dem Deep Space 8K in Linz oder dem 3D-Kuppelkino im schwedischen Norrköping , experimentierfreudigen Medienlabs und großem Know-How in Sachen Codecs, Infrastruktur und Inhalte sind die fünf europäischen Partnerorganisationen breit aufgestellt.
Beeindruckende erste Resultate
Die ersten Resultate zeigen bereits jetzt, dass sich das versammelte ExpertInnenwissen bezahlt macht. Das Visualization Center C benützt zum Beispiel ihr hauseigenes Kuppelkino mit 6P-RGB-Laserprojektionssystem, um interaktive Filme zu schaffen. „Wir entwickeln gerade Inhalte mit interaktiver Storyline mit hochauflösenden Daten von der Marsoberfläche“, berichtet Erik Sundén. „Das Publikum wird in verschiedenen Formen entscheiden können, was es erkunden möchte.“ Das PSNC in Polen hingegen konzentrierte sich unter anderem auf Audioinstallationen: „Wir luden die Jazz Band Anomalia ein, um mit uns zu arbeiten. Mehrere Musiker und Musikerinnen standen in einem Kreis und wir nahmen die Instrumente getrennt auf“, nennt Maciej Glowiak ein Beispiel. Zusätzlich wurde die Band mit einem 360°-Video gefilmt. „Daher konnten wir den Sound mit dem Bild synchronisieren und jetzt genau hören, von wo ein Instrument kommt, wenn wir den Kopf mit einem HMD (head-mounted display) bewegen“, so Glowiak weiter.
Immersives Projekt vom Visualization Center C aus Schweden. Credit: Visualization Center C.
Im Deep Space 8K beschäftigt man sich mit künstlerischen Installationen wie „Singing Sand 2.0“ von Tadej Droljc genauso wie mit kulturellem Erbe. Auf der Basis von Point Cloud Scans in den Pyramiden von Gizeh entsteht so etwa ein 360°-Grad-Video in Hochauflösung, wie man es bis jetzt, ohne die neu entwickelten Codecs und Technologien, kaum zeigen konnte. „Wir wollen bis zum Ende von Immersify auf 12K mal 12K Auflösung kommen“, verrät Roland Haring vom Ars Electronica Futurelab. „Das ist natürlich am Limit, aber es ist zumindest eine Möglichkeit, das, was das Medium Video hergeben kann, auch wirklich bis ans Limit zu pushen.“
Klingt vielversprechend. Wer jetzt neugierig geworden ist: Am Ars Electronica Festival 2019 von 5. – 9. September kann man sich selbst ein Bild davon machen, wie immersiv Medien sein können. Bis bald also!
Über Immersify: Das europaweite Forschungsprojekt Immersify arbeitet daran, Medien immersiver zu gestalten. Insgesamt sind fünf europäische Partnerinstitutionen beteiligt: das Poznan Supercomputing and Networking Center (PSNC) aus Polen, die Spin Digital Video Technologies GmbH aus Deutschland, das Ars Electronica Futurelab aus Österreich, Marché du Film – Festival de Cannes aus Frankreich und das Visualization Center C aus Schweden. Immersify wurde im Oktober 2017 gestartet und läuft bis März 2020. Finanziert wird das Forschungsvorhaben durch das EU-Programm „Horizon 2020“.
Dr. Mauricio Alvarez-Mesa ist der CEO und Mitgründer von Spin Digital, eine Firma, die sich auf Video-Kompression für ultra-hochauflösende Medien konzentriert. Mauricio hat einen Abschluss in Electronics Engineering von der Universität von Antioquia in Kolumbien, und einen PhD in Computing Engineering von der Polytechnischen Universität von Katalonien in Spanien. Mauricio hat mehr als 15 Jahre Erfahrung im Feld von Videokompression und High-Performance-Computing. Er arbeitete als Forscher für verschiedene internationale Institutionen wie die Polytechnische Universität von Katalonien in Barcelona, die IBM Labs in Haifa, Fraunhofer HHI in Berlin und die Technische Universität in Berlin. Er war Teil mehrerer internationaler Forschungsprojekte, die die Medienindustrie und den ICT-Sektor verbinden. Momentan ist er der technische Koordinator für das Immersify Projekt.
Maciej Glowiak leitet das New Media Department am Poznan Supercomputing and Networking Center (PSNC) und ist Koordinator für das Immersify-Projekt. Seine Arbeit konzentriert sich auf innovative Lösungen und Forschung zu den Themen ultra-hohe Auflösung und immersive Medienproduktion, Processing und Netzwerk-Streaming. Er ist der Autor mehrerer wissenschaftlicher Artikel und Publikationen und leitet eine Gruppe von Multimedia-Software-EntwicklerInnen, TV- und Experimentalinhalt-ProduzentInnen, MedieningenieurInnen und Elektronik-DesignerInnen. Maciej Glowiak war in vielen polnischen und europäischen Forschungsprojekten involviert und ist aktives Mitglied vieler internationaler Konsortien und Forschungsgruppen.
Roland Haring studierte Medientechnik und Design an der Fachhochschule Hagenberg. Seit 2003 ist er Mitglied des Ars Electronica Futurelabs und eine der treibenden Kräfte hinter dessen R&D Aktivitäten. Seine Aktivitäten beinhalten dabei die Forschung und Entwicklung in mehreren großen R&D Projekten, zusammen mit wissenschaftlichen, künstlerischen und wirtschaftlichen Partnern. Aktuell arbeitet Roland Haring als Technischer Direktor des Ars Electronica Futurelabs und ist dabei mit für dessen Gesamtleitung, inhaltliche Konzeptionierungen, sowie die technische Entwicklung verantwortlich. Mit seiner langjährigen Erfahrung in der (software-)technischen Leitung forschungsintensiver Großprojekte ist er ein Experte für das Design, die Architektur und die Entwicklung interaktiver Anwendungen.
Jérôme Paillard begann seine Karriere als Oboist und Produzent und CFO der französischen Klassik-Plattenfirma Erato. 1991 wurde er der General Manager von Erato Films, gemeinsam mit Daniel Toscan du Plantier, wo er über ein Dutzend Spielfilme produzierte. Er schloss sich dem Festival de Cannes als Geschäftsführer des Marché du Film im November 1995 an, um die Entwicklung und das Management dessen zu leiten, was mittlerweile als der weltführende Filmmarkt gilt. Er ist außerdem Co-Direktor von Ventana Sur, dem ersten Markt, der sich auf lateinamerikanische Filme spezialisiert, und der Gründer von Cinando.com, eine führende Online-Ressource, Kommunikations- und Screeningplattform für die Industrie.
Erik Sundén ist Technischer Leiter am Visualization Center C, ein Forschungs- und Wissenschaftscenter in Norrköping, Schweden, das eine einzigartige Mischung aus führender Visualisierungsforschung und Public-Outreach-Aktivitäten betreibt. Er ist verantwortlich für die groß angelegte technische Infrastruktur im Center, mit Virtuellen Arenas und Labs und dem Hauptgebäude, einem State of the Art Kuppelkino für circa 100 Menschen, das für interaktive und Playback-Shows genauso genützt wird wie für Forschungsarbeiten. Er entwickelt außerdem interaktive Produktionen, Forschungssoftware und generelle Tools für das Center, um die Nutzung von immersiven Anlagen zu zeigen und zu erweitern.
Um mehr über Ars Electronica zu erfahren, folgen Sie uns auf Facebook, Twitter, Instagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.