Was passiert mit Fernsehinhalten, wenn die Auflösung unserer Screens immer höher wird? Wie können wir mit größeren Displays interagieren? Und welche neuen Medienformate werden mit 8K oder mehr erst möglich? Das sind Fragen, die sich das japanische Rundfunkunternehmen NHK und das Ars Electronica Futurelab schon seit einigen Jahren stellen. In ihrer gemeinsamen Forschung „Beyond the Frame“ gehen sie schon seit 2015 möglichen Antworten nach.
Am Ars Electronica Festival 2019 (5 – 9 September) werden nun einige Prototypen präsentiert. Wir haben uns mit Roland Haring und Nicolas Naveau vom Ars Electronica Futurelab unterhalten und mehr zum Projekt, den Forschungsfragen und der zukünftigen Entwicklung des Fernsehens erfahren.
Wir haben schon letztes Jahr am Ars Electronica Festival von Beyond the Frame gehört. Roland, kannst du uns die bisherige Entwicklung erklären?
Roland Haring: NHK, eine japanische Rundfunkgesellschaft, hat bereits vor ein paar Jahren begonnen, an 8K-Fernsehtechnologie zu arbeiten. Sie waren damit weltweit die ersten, vollkommene Pioniere. Im Prinzip hat Japan 4K einfach übersprungen und sich gleich direkt auf 8K konzentriert! Der Hintergrund ist, dass 2020 die Olympischen Spiele in Tokio stattfinden und Japan die Events gerne in 8K übertragen möchte. NHK treibt diese Entwicklungen aber nicht nur für den japanischen Markt voran, sondern sieht sie natürlich auch als einen Industrievorsprung der japanischen Unterhaltungs- und Elektronikindustrie, als ein Alleinstellungsmerkmal.
Über dieses Interesse von NHK an 8K entstand dann auch der Kontakt mit uns, dem Ars Electronica Futurelab – wir haben 2015 den Deep Space 8K in Linz eröffnet und begannen eine erste Kooperation mit NHK. Sie stellten uns sehr frühe, experimentelle 8K-Filme zur Verfügung, damit wir sie im neuen Deep Space 8K zeigen konnten. Das war von Anfang an eine tolle Herausforderung für uns, 8K-Videotechnik war noch nicht normal und wir mussten nicht nur die Projektoren austauschen, damit wir eine höhere Auflösung projizieren konnten, sondern auch dafür sorgen, dass der Content überhaupt abspielbar war.
Credit: Vanessa Graf
Ist der Deep Space 8K nicht genau für solche Inhalte ausgelegt?
Roland Haring: Nein, denn es gibt unterschiedliche Inhalte. Man kann 8K produzieren, hat dann aber unterschiedliche Möglichkeiten, wie das Bild projiziert wird. Das kann über Echtzeitgraphik passieren, mit einer 3D-Engine, die das Bild berechnet, oder auch als Video. Bei jeder Möglichkeit hat man einen unterschiedlichen Bildaufbau, verschiedene Möglichkeiten, was die Bilder pro Sekunde betrifft, und viel mehr. 2015 konnten wir 6K Video sehr gut mit 60 fps abspielen, das war auch ausreichend für unsere Aufwendungen. Dazu kam, dass wir kaum Content bekamen, der eine höhere Auflösung als 4K hatte. Im Rahmen unseres europäischen Forschungsprojekt Immersify haben wir aber genau daran gearbeitet und neue Video-Codecs integriert, die wesentlich höhere Auflösungen erlauben.
Eine Konsequenz daraus, wenn man die Auflösung so erhöht, ist, dass man die Bildschirme größer machen kann. Die Frage ist schließlich: Was bringt 8K überhaupt? Wenn ich an meinen kleinen Fernseher zuhause denke, ist HD eigentlich ausreichend – selbst wenn ich 4K oder 8K hätte, würde ich den Unterschied vermutlich nicht bemerken. Die Displays werden aber generell größer und mit steigenden Dimensionen macht die höhere Auflösung dann schon Sinn. Das trifft auch bei uns im Deep Space 8K zu.
Credit: Vanessa Graf
Welche Konsequenzen haben diese großen Displays für die Inhalte?
Roland Haring: Wir haben festgestellt, dass es nicht zielführend ist, bestehenden Inhalt einfach nur höher aufgelöst darzustellen. Ab einer gewissen Größe macht die Bildkomposition keinen Sinn mehr. Das war für uns im Deep Space 8K schon immer der Fall, wenn wir zum Beispiel Videokonferenzen hatten und das Webcam-Bild plötzlich einen sieben Meter hohen Kopf zeigte! Das verändert die Wirkung des Bildes komplett. Man muss also die Bildkomposition und auch die Art, wie man mit der Fläche des Bildschirms arbeitet, neu denken. Das geht eigentlich nur, indem man über neue Inhalte nachdenkt, neue Formen der Inszenierung, neue Arten der Darstellung von Menschen.
Nicolas Naveau: Wir haben das mit NHK in zwei Phasen ausprobiert. In Phase eins wollten wir das Bild oder die Sprache neu für so große Screens definieren und über neue Arten von Fernsehen nachdenken. Wir haben auch dazu geforscht, wie man das Ambiente einbinden oder mit Medienarchitektur arbeiten könnte. Eine Idee damals hatte mit Skalierung zu tun: Wir nahmen zum Beispiel eine Wettervorhersage und wollten sie auf die neue Bildschirmgröße anpassen. Wir hatten die Idee, die Dinge so groß anzuzeigen, wie sie auch im echten Leben sind – eins zu eins. Das ist ein Konzept, das wir auch jetzt, in Phase zwei, weiterführen.
Bei der Wettervorhersage bedeutet das, dass der Moderator oder die Moderatorin wirklich so groß ist, wie in echt auch. In unserem fiktiven Szenario nähert sich ein Taifun Japan und es wird erklärt, was die Menschen in Japan jetzt erwartet. Der Bericht findet von einer Küste aus statt, die Steine sind genauso groß wie in echt, die Küste genauso hoch und das Meer genauso groß. Dazu zeigen wir Infographiken, in denen man auch in Realgröße sieht, wie viele Zentimeter Regen fallen werden, wie große Wellen es geben und schnell der Wind blasen wird. Es ist schon etwas Anderes, zu sagen, es kommt eine sieben Meter große Welle, oder sie auch wirklich in der Größe von sieben Metern anzuzeigen! Auch bei der Windgeschwindigkeit bekommt man ein sehr gutes Gefühl dafür, was das wirklich bedeutet. Die Wettervorhersage wird zum physischen Erlebnis. Das Projekt stammt wie gesagt aus Phase eins und wurde später weiterentwickelt, jetzt zeigen wir es am Ars Electronica Festival 2019.
Credit: Magdalena Sick-Leitner
Es geht aber bei Beyond the Frame nicht immer nur darum, Inhalte anzupassen, sondern auch, um über den normalen Rahmen des Fernsehers hinwegzudenken.
Roland Haring: Stimmt. Wir wollen neue Formate finden, die mit 8K möglich oder sinnvoll werden. Anfang des Jahres haben wir einen zweiten Prototypen realisiert….
Nicolas Naveau: …der Mobile Media Platz. Eine kleine Version davon ist ebenfalls am Festival zu sehen, im Open Futurelab in der POSTCITY. Es ist ein mobiler Screening-Platz für 8K-Inhalte. Der Prototyp, den wir zeigen, besteht aus Pappmöbeln von PappLab. Die Idee dahinter ist, Künstler, Künstlerinnen, Designer, Designerinnen und andere Kreative dazu einzuladen, diesen Platz zu gestalten, sodass er transformierbar wird. Jede Art von Content bekommt eine eigene Art von Platz. Wir könnten einen Platz für ein Animationsfestival gestalten, genauso aber für einen Workshop oder eine Katastrophensituation. Wenn es in Japan zum Beispiel wirklich zu einem Taifun kommen würde, könnte der Mobile Media Platz in einer Turnhalle aufgebaut werden und Notstrom, Decken und Kerze genauso wie wichtige Informationen anbieten. Bei einem Animationsfestival könnte man stattdessen mit Kreide auf die Medienmöbel schreiben, kommentieren oder über Filme abstimmen.
Das Hauptaugenmerk liegt dieses Jahr aber auf den Projekten im Deep Space 8K?
Nicolas Naveau: Wir führen das Konzept der lebensechten Skalierung, Life-Scale, weiter mit einem Animationsfilm für Kinder. Wir haben kleine Filme von jeweils drei Minuten erstellt, die den Anfang einer pädagogischen Serie darstellen. In den Filmen wird die Welt durch Vergleiche von Größe und Höhe erkundet: Ein Kind ist so hoch wie ein Löwe, fünf Löwen sind so groß wie eine Giraffe, eine Giraffe isst so viele Kilo Blätter am Tag, das sind so viele Äpfel, und so weiter. Man sieht dabei, wie groß diese Tiere oder Dinge in echt sind. Das Ende eines jeden Films geht fließend in den nächsten über, außerdem haben wir partizipative Elemente eingebaut. Kinder können zum Beispiel mit einem Tier mitlaufen, um zu erfahren, wie schnell sie laufen können.
Credit: Vanessa Graf
Neben dem Life-Scale Weather Programm und dem Life-Scale Kid’s Program wird auch ein Kunstfilm gezeigt. Worum handelt es sich da?
Roland Haring: Es ist eine Produktion von NHK, ein stereoskopischer Film, der zwar an die Geschichte von Alice im Wunderland angelehnt ist, aber in der Gegenwart in Japan spielt. Der Film wurde als 8K-stereoskopischer Film produziert, den man sich mit 3D-Brillen ansehen kann, enthält darüber hinaus aber auch noch eine zweite Bildebene, die in Echtzeit erzeugt wird. Das ermöglicht, dass man selbst zum Film beitragen kann: Die Position der Leute im Raum wird getrackt; je nachdem, wo man steht, erzeugt man dreidimensionale Objekte im Film. In einer Szene werden zum Beispiel Seifenblasen geschaffen. Das ist sehr spannend: Wie kann man das Medium Video interaktiver denken? Wie verändert sich der Inhalt durch Bewegung vor einem großen Screen? Momentan ist das ein Prototyp, aber man kann schon erkennen, wohin es in Zukunft gehen wird.
Nicolas Naveau: Was ich cool finde ist, dass man nicht nur zwischen zwei Optionen auswählt, sondern die Interaktion wirklich den Inhalt beeinflusst. Man schafft selbst Seifenblasen in einer Welt, in der man steht. Das ist sehr immersiv.
Roland Haring: In allen diesen Bereichen finde ich es spannend, dass versucht wird, das Medium Video selbst weiterzuentwickeln. Von der konzeptuellen Grundstruktur ist das Medium schon Jahrzehnte alt, höchstens die Auflösung wird verbessert. Mehr zu verändern ist sehr schwierig, weil die gesamte Fernsehübertragungsinfrastruktur da dranhängt. Allerdings, gerade durch Streaming-Portale wie Netflix oder Amazon findet gerade ein Umdenken statt. Das klassische Fernsehen hat kein Monopol mehr, jeder Content-Anbieter kann sehr frei gestalten. Das eröffnet mittelfristig ein neues Spielfeld für interaktive Medienformate.
Credit: Vanessa Graf
Wohin denkt ihr geht die Entwicklung?
Nicolas Naveau: Ein großes Thema ist auf jeden Fall die Skalierung. Wir wollen uns bei Beyond the Frame auch überlegen, ab wann es überhaupt Sinn macht, den Bildinhalt zu ändern – wie groß muss da Display wirklich sein? Das ist etwas, das für die Content-Produktion sehr relevant ist.
Roland Haring: In der Produktion von Inhalten hat man da große Flexibilität, jedes Element kann unterschiedlich angeordnet werden. Irgendwann wird der Inhalt aber gerendert und wird dadurch sozusagen eingefroren, unveränderbar. Es hat eine bestimmte Skalierung, die festgelegt ist und in der der Inhalt übertragen und angezeigt wird. Spannend wäre es, wenn man sich die Flexibilität der Skalierung erhalten kann bis zu dem Zeitpunkt, an dem der Inhalt tatsächlich präsentiert wird. Man könnte das Bild sehr dynamisch je nach Screen komponieren und anordnen.
Nicolas Naveau: Bei den Smartphones war hier die große Revolution das Responsive Design, im Prinzip ist das hier jetzt sehr ähnlich. Es wäre Responsive Design für Screens. Ein anderes Thema, das wir bis jetzt noch gar nicht behandelt haben, ist Sound. Wenn man den Raum mit großen Screens öffnet, ergeben sich dadurch auch viele neue Möglichkeiten mit Sound. Etwas, was uns auch noch interessieren würde, wäre, dass sich Content je nach Aufmerksamkeit des Publikums verändert. Inhalte könnten ihre Größe verändern, wenn man sie ansieht oder näherkommt. Hier spielt auch die Frage, ob man ein Gerät für Interaktion benötigt oder Blickkontakt reicht, eine Rolle.
Roland Haring studierte Medientechnik und Design an der Fachhochschule Hagenberg. Seit 2003 ist er Mitglied des Ars Electronica Futurelabs und eine der treibenden Kräfte hinter dessen R&D Aktivitäten. Seine Aktivitäten beinhalten dabei die Forschung und Entwicklung in mehreren großen R&D Projekten, zusammen mit wissenschaftlichen, künstlerischen und wirtschaftlichen Partnern. Aktuell arbeitet Roland Haring als Technischer Direktor des Ars Electronica Futurelabs und ist dabei mit für dessen Gesamtleitung, inhaltliche Konzeptionierungen, sowie die technische Entwicklung verantwortlich. Mit seiner langjährigen Erfahrung in der (software-)technischen Leitung forschungsintensiver Großprojekte ist er ein Experte für das Design, die Architektur und die Entwicklung interaktiver Anwendungen.
Nicolas Naveau studierte ab 1994 Kunst an der Fine Art School im französischen Angers. In den Jahren 1997 bis 2002 arbeitete er als Kursleiter für französische Kultur (Kunstgeschichte, Comics, Kino) am Zenter für Erwachsenenbildung in Wien. Aufgrund seiner Interessen und Fähigkeiten in den Bereichen Kunst, Grafik- und Informationsdesign, wurde er im Jahr 2002 ein freier Mitarbeiter der Ars Electronica. Seit 2006 arbeitet Nicholas Naveau als Künstler und Senior Researcher im Bereich Informationsdesign am Ars Electronica Futurelab.
Am Ars Electronica Festival 2019 wird Beyond the Frame: Future Project im Deep Space 8K gezeigt. Im Open Futurelab in der POSTCITY Linz kann man sich außerdem den Mobile Media Platz ansehen. Mehr Informationen gibt es auf unserer Programmwebseite!
Um mehr über Ars Electronica zu erfahren, folge uns auf Facebook, Twitter, Instagram und Co., abonniere unseren Newsletter und informiere Dich auf https://ars.electronica.art/.