*falcon heavy ist gleichzeitig stereoskopische Multi-User-Erfahrung und wechselhafte audiovisuelle Skulptur für den Deep Space 8K. Eine sich ständig verändernde Entität regiert die rituelle, halb virtuelle Arena: Hier versuchen Menschen, im Chaos gemeinsam synchrone Signale zu finden.
*falcon heavy basiert auf dem EU-Forschungsprojekt SHARESPACE zur Verwendung von Avataren in sozialen Situationen. Ziel von *falcon heavy ist es, einen Gegenspieler – dargestellt als räumliches audio-visuelles Chaos – durch Zusammenarbeit in konkrete Formen zu binden. Dazu agieren bis zu vier Teilnehmer*innen gemeinsam im Deep Space 8K des Ars Electronica Center in Linz. Von pulsierenden Rhythmen geführt, müssen sie bestimmte räumliche Positionen erreichen und Synchronität mit ihren Handbewegungen erzielen.
Presentation of *falcon heavy @ Futurelab Night; photo: Bettina Gangl
Presentation of *falcon heavy @ Deep Space 8K; photo: flap
Presentation of *falcon heavy @ Futurelab Night; photo: Bettina Gangl
Presentation of *falcon heavy; photo: flap
SHARESPACE ist ein europäisches Forschungs- und Entwicklungskonsortium, das sich auf die ethisch fundierte zukünftige Nutzung digitaler Avatare für soziale Interaktionen konzentriert. Es geht dabei um Mixed-Reality-Szenarien, in denen KI-gesteuerte Avatare mit Avataren menschlicher Teilnehmer*innen interagieren können. Das Projekt mit 14 Partnerinstitutionen aus acht Ländern läuft von Januar 2023 bis Dezember 2025. Das Futurelab ist hauptsächlich für die Entwicklung von Kunstszenarien im Deep Space 8K des Ars Electronica Center verantwortlich.
Gemeinsam Chaos zu Struktur formen
In *falcon heavy bestimmt das Lasertracking-System pharus des Futurelab die Positionen der Spieler*innen. Die Bewegung der Hände werden über Sensoren (Inertial Measurement Unit, kurz imu) aufgenommen. Während der Mensch den physischen Raum einnimmt, steht ihm eine audiovisuelle Entität im virtuellen Raum gegenüber – dargestellt als erweiterte Bewegungsfläche mit einem audio-reaktiven Partikelsystem in stereoskopischer 3D-Wandprojektion.
Die Bodenprojektion des Deep Space 8K dient als visuelles Leitsystem für die Teilnehmer*innen, um Zielpositionen herauszufinden. Gleichzeitig zeigt der Partikelfluss ihrer imu-Sensoren in den virtuellen Raum hinein, um Handbewegungen miteinander zu synchronisieren. Bleibt das Tracking der imu-Sensoren synchron, nimmt das Chaos der Entität Formen an. Diese Gestaltbildung ist aber nur von kurzer Dauer und wird in einer neuen Phase abgelöst – der Zyklus wiederholt sich mit neuen Aufgaben.
Presentation of *falcon heavy @ Futurelab Night; photo: Bettina Gangl
Presentation of *falcon heavy; photo: Bettina Gangl
*falcon heavy presentation @ Deep Space 8K; photo: Bettina Gangl
Die Idee des „Anderen“ innerhalb eines gemeinsamen Raum und einer dramatischen Struktur wird in *falcon heavy für die sequenzielle Gestaltung von interaktiven Ereignissen und Klängen verwendet. Die Aktionen der Entität werden durch einen Verhaltensbaum gesteuert. Sie kann Menschen per pharus-Tracking wahrnehmen und demnach Entscheidungen treffen, z.B. nur beobachten, sich annähern oder die Farbe wechseln.
Eine externe Anwendung überwacht die Sensordaten und berechnet den Wert für die Qualität der Synchronität (qSyn). Für jede Spielphase wird qSyn kumulativ gemessen. Wenn ein definierter Schwellenwert überschritten wird, ist das Intervall bewältigt – andernfalls kehrt die Phase zu ihrem Anfang zurück. Das reaktive Sounddesign unterstreicht den Fortschritt in einem positiven Crescendo-Motiv. Auf diese Weise formt qSyn Chaos zu Struktur.
Credits
Ars Electronica Futurelab: Johannes Pöll, Daniel Rammer, Raphael Schaumburg-Lippe, Arno Deutschbauer, Cyntha Wieringa
PARTNER: SHARESPACE Consortium
This work has been developed in the framework of the SHARESPACE project.
SHARESPACE has received funding from the European Union’s Horizon Europe research and innovation programme under grant agreement No 10192889.