Converge

Converge ist eine interaktive Arbeit des Ars Electronica Futurelab für den Deep Space 8K – basierend auf SHARESPACE, einem großen europäischen Forschungs- und Entwicklungsprojekt zur Nutzung von Avataren in sozialen Situationen. Converge nutzt Tracking von bis zu zehn Teilnehmer*innen vor Ort und einen Motion-Capture-Anzug für eine externe Person. Alle müssen zusammenarbeiten, um voranzukommen, und können mit der remote zugespielten Person nur über Bewegung und Körpersprache kommunizieren.  

SHARESPACE ist ein europäisches Forschungs- und Entwicklungskonsortium, das sich auf die ethisch fundierte zukünftige Nutzung digitaler Avatare für soziale Interaktionen konzentriert. Es geht dabei um Mixed Reality Szenarien, in denen KI-gesteuerte Avatare mit Avataren menschlicher Teilnehmer*innen interagieren können. Das Projekt mit 14 Partnerinstitutionen aus acht Ländern läuft von Januar 2023 bis Dezember 2025. Das Futurelab ist hauptsächlich für die Entwicklung von Kunstszenarien verantwortlich, die experimentelle, kreative Ansätze ermöglichen, die sich von den eher anwendungsorientierten Gesundheits- und Sportszenarien anderer Partner*innen unterscheiden.  

Im Mittelpunkt der Kunstszenarien steht der Deep Space 8K im Ars Electronica Center, ein immersiver Erlebnisraum mit stereoskopischen Projektionen im Format 16×9 Meter auf Wänden und Böden – errichtet und weiterentwickelt vom Futurelab. Das pharus-Lasertracking-System, eine weitere Futurelab-Technologie, ermöglicht interaktive Erlebnisse, indem es die Position von Personen und Objekten auf dem Boden erkennt und so die Interaktion mit digitalen Kunstwerken verbessert. 

Converge verbindet Deep-Space- und SHARESPACE-Technologie zu einer neuen Art von Erfahrung, bei der Teilnehmer*innen vor Ort mit einer bzw. einem externen Mitspieler*in verbunden werden, um gemeinsam Szenarien zu erkunden, deren Lösungen nur durch subtile visuelle Hinweise angedeutet werden. Der minimalistische Stil hebt Bewegungen und Interaktionen hervor und endet damit, dass die Teilnehmer*innen Hunderte KI-Charaktere davor bewahren müssen, in immer größer werdende Löcher zu fallen. 

Die künstlerische Perspektive 

Converge wurde von Patrick Berger, Lead Designer & Artist am Futurelab, entwickelt. Das Spiel konzentriert sich hauptsächlich auf die Idee der verkörperten Zusammenarbeit, also auf nonverbale Kommunikation durch Bewegung und Körpersprache, um ein gemeinsames Ziel zu erreichen. Besonders interessant war es, darüber nachzudenken, wie die Spieler*innen kommunizieren würden, wenn sie nicht mit dem Remote-Teilnehmenden sprechen können. Und wie diese Person nur über Körpersprache mit den Menschen im Deep Space 8K kommunizieren kann.   

Die Situationen, mit denen die Spieler*innen konfrontiert werden, sind absichtlich so gestaltet, dass sie nur gemeinsam gelöst werden können, wodurch ein Umfeld der gemeinsamen Verantwortung und sozialen Verbundenheit geschaffen wird. Eine externe verbale Moderation war nicht vorgesehen, d.h. die Situationen mussten so gestaltet werden, dass die Gruppe sie selbst verstehen und lösen konnte. Dies würde pro Sitzung mehr Zeit in Anspruch nehmen, als auf dem Ars Electronica Festival möglich war, weshalb wir die Gruppen dort bei Bedarf mit einigen verbalen Hinweisen unterstützten. 

Der Stil ist bewusst minimalistisch gehalten. Die Idee dahinter war, mehr Aufmerksamkeit auf die Silhouetten der Charaktere zu lenken. Die ersten Überlegungen drehten sich stark um Wiedererkennung anhand von Bewegung, die Identifizierung eines Menschen in einer Menge von Nicht-Spieler-Charakteren, die Verstärkung individueller Gesten und so weiter. Die Idee war also, eine Umgebung mit hohem Kontrast zu schaffen, in der fast alles außer der Silhouette und der Bewegungsästhetik weggelassen wird. 

Da die Spieltests im Deep Space 8K jedoch zeigten, dass ein zu „hoher Kontrast“ den Verlust der Illusion der Perspektive zur Folge hat, wurde ein leicht schattierter Stil gewählt, der Licht und Schatten, Grautöne und Texturen zulässt, während der hohe Kontrast durch die konsequente Verwendung der Farben Schwarz, Weiß und Grau beibehalten wurde. 

Der Schöpfer von Converge ließ sich in Bezug auf die Interaktion mit Menschenmengen und die minimalistische Ästhetik stark von Mario von Rickenbachs “KIDS“ inspirieren. Was die Einfachheit der Interaktion betrifft, die für ein fesselndes Erlebnis im Deep Space 8K erforderlich ist, so waren die Mechanismen, die in verschiedenen Beispielen von Gerhard Funks “Cooperative Aesthetics” verwendet wurden, eine weitere großartige Inspirationsquelle. Weitere künstlerische Inspirationen kamen von Gilbert Garcin und Sean Mundy. 

Die Technologie 

Das Projekt verwendet einige fortschrittliche Systeme, um die genannten Ideen zum Leben zu erwecken. Zunächst werden die Bewegungen der Person, die remote spielt, in Echtzeit erfasst. Dies geschieht mithilfe eines optischen Tracking-Systems namens Optitrack und eines Motion-Capture-Systems namens Noitom. Die Remote-Person trägt optische Marker an Kopf, Rücken, Ellbogen, Händen, Knien und Füßen. Diese Positionsdaten der einzelnen Marker werden von Noitom zu einem Skelett zusammengesetzt. Diese Skelettdaten werden dann in Form eines BVH-Streams (Biovision Hierarchy) über das Netzwerk an die PCs im Deep Space 8K (Wand-PC und Boden-PC) und im Studio gesendet. Auf den PCs läuft jeweils eine Instanz unserer eigenen Anwendung, die mit der Unreal Engine erstellt wurde. Diese Instanzen verwenden die Skelettdaten, um den Avatar der externen Spielerin bzw. des externen Spielers im Deep Space 8K korrekt darzustellen. 

Zusätzlich trägt der bzw. die Remote-Spieler*in ein Virtual-Reality-Headset, die Meta Quest Pro, mit dem die Person die virtuelle Umgebung, einschließlich der anderen Spieler*innen und des eigenen Körpers, aus der Perspektive der von ihm oder ihr gesteuerten Figur sehen kann. Die Bilder im Headset werden über ein lokales WLAN-Netzwerk von einer separaten Instanz der Anwendung, die auf einem PC im Studio läuft, direkt auf das Headset gestreamt. 

Der PC, der die Wandinhalte in Deep Space 8K rendert, ist als Server konfiguriert und repliziert Dinge wie Szenenübergänge, Lochgröße und andere globale Parameter auf die Client-PCs (Boden-PC und Studio-PC). 

Die Positionen der Spieler*innen im Deep Space werden mithilfe des LIDAR-Lasertracking-Systems Pharus des Futurelab erfasst. Die Tracking-Daten der Laser im Deep Space 8K werden verwendet, um die Positionsdaten in Echtzeit auf einem separaten PC zu berechnen. Diese Positionsdaten werden von der Serverinstanz (Wand-PC) auf die Clients (Boden-PC und Studio-PC) repliziert, um die Charaktere der lokalen Spieler*innen an den richtigen Positionen darzustellen.  

Die Animation der lokalen Spieler*innen wird auf den Rendering-PCs gehandhabt. Die Figuren folgen einfach der realen Position der Spieler*innen mithilfe eines Algorithmus zur Wegfindung. Sie verwenden vordefinierte Animationen für Stillstand, Gehen und Laufen und einen Blendspace, der zwischen diesen Animationen auf Basis der Geschwindigkeit der einzelnen Charactere interpoliert. 

Dieses Projekt war Teil des Open Futurelab am Ars Electronica Festival 2024.

Credits

Ars Electronica Futurelab: Patrick Berger, Daniel Rammer, Raphael Schaumburg-Lippe, Cyntha Wieringa, Arno Deutschbauer
PARTNER: SHARESPACE Consortium

This work has been developed in the framework of the SHARESPACE project.

SHARESPACE has received funding from the European Union’s Horizon Europe research and innovation programme under grant agreement No 10192889.