Immersify

Sie lassen uns die Welt um uns herum beinahe vergessen: Virtual-Reality-Anwendungen lassen uns tief in Bilder und Videos eintauchen und versprechen interaktive Erlebnisse. Um immersive Medien von einem Nischenphänomen zu einer weit verbreiteten Praxis auf dem Verbrauchermarkt zu führen, hat das dreijährige, von der EU geförderte Projekt Immersify mit fünf europäischen Partnern, darunter dem Ars Electronica Futurelab, die Aufgabe der Forschung und Entwicklung übernommen.

Das Team arbeitete an der Verbesserung aller beteiligten Aspekte – von Videotechnologie, Codecs, Displays und Medienräumen bis hin zu eigens erstellten Inhalten und künstlerischen Visionen. Immersify förderte auch die offene Innovation, indem es Medieninhalte und Tools für die Kreativ- und Medienbranche in Europa vorantrieb. Das erklärte Ziel: Medien zu ermöglichen und zu schaffen, die immersiver sind als je zuvor.

Neben dem Ars Electronica Futurelab aus Österreich waren das Poznan Supercomputing and Networking Center aus Polen, Spin Digital Video Technologies GmbH aus Deutschland, Marché du Film – Festival de Cannes aus Frankreich und das Visualization Center C aus Schweden Teil von Immersify. Das Programm wurde durch das EU-Programm “Horizon 2020” gefördert und lief von Oktober 2017 bis Juni 2020. Die Herausforderungen waren vielfältig: Die immer größer werdenden Datenmengen für überzeugende immersive Inhalte erforderten eine verbesserte Datenkompression. Media Player und Formate für möglichst viele verschiedene technische Umgebungen und Geräte waren notwendig. Und Techniken wie ultrahohe Auflösung oder CGI in 2D und 3D sollten frei miteinander kombinierbar sein.

Neben der hauptsächlich technologischen Forschungs- und Entwicklungsarbeit beschäftigte sich das Immersify-Team auch mit Partizipation und Interaktion für VR-Anwendungen, was die Sache verkompliziert: Was für einzelne Zuseher*innen noch machbar sein mag, wird knifflig, sobald das Publikum größer ist. Immersive Medienräume wie der Deep Space 8K im Ars Electronica Center in Österreich oder das Visualization Center C in Schweden geben bereits einen Vorgeschmack darauf, was in Zukunft möglich sein könnte.

Das Ergebnis

Das Immersify-Team produzierte rund 25 immersive Inhalte, um die technischen Möglichkeiten zu demonstrieren sowie die entwickelten Tools zu bewerten und zu verbessern. Demonstrationen wie die Wiedergabe von 16K-Medien und 8K-Livestreams, die beispielsweise im Deep Space 8K gezeigt wurden, machten das Projekt sowohl für die breite Öffentlichkeit als auch für den Markt für immersive Medien greifbar. Um diesen Ansatz zu stärken, wurde Immersify nicht nur auf Konferenzen und Technologiemessen präsentiert, sondern auch auf kulturellen Veranstaltungen und Festivals wie dem Ars Electronica Festival und Cannes XR Virtual auf dem Marché du Film in Cannes. Zur Unterstützung der Ersteller*innen von Inhalten und der offenen Innovation wurden mehrere Richtlinien zur Nachahmung der Werkzeuge und Inhalte von Immersify veröffentlicht.

Einige der mit Immersify realisierten Projekte erlangten durch die Präsentation im Deep Space 8K des Ars Electronica Center große Aufmerksamkeit und ein breites Publikum. The translucent St. Stephen’s Cathedral ist eine künstlerische Darstellung der Kathedrale, basierend auf mehr als 20 Milliarden Laserpunkten. In The Great Pyramid in 3D: From the BBC series, Ancient Invisible Cities können Besucher interaktiv und immersiv tief in die Cheops-Pyramide eintauchen. Mehrere Projekte umfassten die Zusammenarbeit mit Künstler*innen bei stereoskopischen audiovisuellen Reisen wie Prima Materia 8K des multidisziplinären Studios NOHlab aus Istanbul und Singing Sand 2.0 von Tadej Droljc. Ein weiterer Teil waren professionelle Zeitraffervideos in hoher Auflösung, wie Atacama Desert und Island in the sky II in 8K-Auflösung sowie Pano LA 10K in einer beachtlichen Auflösung von 10K x 4K. Ein weiteres Projekt wartx-reverse 360° mit Material der Virgil Widrich Film- und Multimediaproduktions G.m.b.H. – ein Raum-Zeit-Schnitt durch das Kino in 10K-Auflösung, der 10.000 Bilder mit einer Breite von 10.000 Pixeln 10.000 mal rendert.

Eindrucksvolle Demonstrationen

Im Juni 2020 schloss das Projektteam Immersify mit einer Live-Demonstration von hochgradig immersiven und interaktiven Medien ab. Gezeigt wurden neu erstellte Inhalte wie ein 16K-360°-Video in Kombination mit räumlichem Audio auf Basis von High-Order-Ambisonics. Die Veranstaltung umfasste auch einen 8K-Livestream aus den PSNC-Labors in Poznan, Polen, zum Deep Space 8K der Ars Electronica in Linz. Ein 360°-Live-Videostream von PSNC zeigte die Technologie hinter dem Stream und die Ambisonic-Sound-Produktion. Live-Demonstrationen einiger der produzierten Inhalte sind auf dem YouTube-Kanal der Ars Electronica zu finden.

Um mehr über Immersify, seine Ziele und Partner*innen sowie die vielen verschiedenen Inhalte zu erfahren, die entstanden sind, besuchen Sie die Projektwebseite. Dort finden Sie auch ein Entwicklungs-Kit, Richtlinien, Berichte und Best-Practice-Beispiele, die bei der Weiterentwicklung von hochwertigen immersiven Medien helfen sollen.

Weitere Informationen zu Immersify finden Sie auch im Ars Electronica Blog.

Forschungsunterlagen

Research Files

Wissenschaftliche Artikel

• Brzeźniak M., Wadówka K., Woszuk P., Blicharczyk F., Płaczek M., Głowiak M., Stróżyk M, “Sync&share solution for massive multimedia data”, TNC18 Conference, Trondheim, June 13, 2018, DOI: 10.5281/zenodo.3973099, Permanent link: https://zenodo.org/record/3973099 Download Paper
• Kurowski K., Glowiak M., Ludwiczak B., Stróżyk M., Ciżnicki M., Binczewski A., Alvarez-Mesa M., “PSNC advanced multimedia and visualization infrastructures, services and applications.”, Web3D ’18 Proceedings of the 23rd International ACM Conference on 3D Web Technology, Poznan, June 20-2018, DOI: 10.5281/zenodo.3973105, Permanent link: https://zenodo.org/record/3973105 Download Paper
• Alvarez-Mesa M., Ching Chi C., HEVC Software Media Player for Ultra-High Quality Video: 8K and Beyond, The 25th International Display Workshops. December 12-14, 2018. Nagoya. DOI: 10.5281/zenodo.3973090, Permanent link: https://zenodo.org/record/3973090 Download Paper
• M. Alvarez-Mesa, S. Sanz-Rodriguez, C. C. Chi, M. Głowiak, R. Haring, Advanced Video Compression and Rendering for Highly Immersive 8K+ Applications, IBC Conference 2019, DOI: 10.5281/zenodo.3973079, Permanent link: https://zenodo.org/record/3973079 Download Paper
• M. Dąbrowski, M. Głowiak, E. Skotarczak, M. Stróżyk, Nowe technologie obrazu i dźwięku w praktyce produkcyjnej (New image and sound technologies in practical production), chapter in book B. Kostek: Postępy badań w inżynierii dźwięku i obrazu. Nowe trendy i zastosowania technologii multimedialnych (Progress of research in sound and image engineering. New trends and applications of the multimedia technologies), Warszawa, Akademicka Oficyna Wydawnicza Exit, ISBN 978-83-7837-89-5, 2019, DOI: 10.5281/zenodo.3973107, Permanent link: https://zenodo.org/record/3973107 Download Paper
• M. Głowiak, M. Stróżyk, S. Malewski, M. Alvarez Mesa, S. Sanz-Rodriguez, Advanced compression and streaming tools for ultra-high definition immersive media with live experimentation, NEM Summit 2020 conference, 2020, DOI: 10.5281/zenodo.3973092, Permanent link: https://zenodo.org/record/3973092 Download Paper

Credits

Ars Electronica Futurelab: Roland Aigner, Roland Haring, Anna Kuthan, Christopher Lindinger, Johannes Lugstein, Nicolas Naveau, Ali Nikrang, Johannes Pöll, Clemens F. Scharfen
PARTNER: Poznan Supercomputing and Networking Center (PSNC); Spin Digital Video Technologies GmbH; Marché du Film – Festival de Cannes; Visualization Center C

This project has received funding from the European Union’s “Horizon 2020” research and innovation programme under grant agreement No 762079