Am Dach des Ars Electronica Futurelabs sitzen Tauben. Ein Windstoß, eine Bewegung, ein Geräusch – und der Vogelschwarm setzt sich gleichzeitig in Bewegung. Kurz vor dem nahegelegenen Kirchturm teilt er sich, weicht aus, findet wieder zusammen, ganz so, als wäre er dazu programmiert worden.
Im Inneren des Futurelabs derweil geht es um etwas ganz Ähnliches: Hier sitzen die Researcher der Ars Electronica und arbeiten gemeinsam mit dem japanischen Telekommunikationsunternehmen NTT an Schwarmtechnologie als Kommunikationsmedium. War es vor ein paar Wochen noch mit einer künstlerisch-wissenschaftlichen Performance in Miraikan, Tokio (wir haben hier bereits von der künstlerischen Vision dahinter berichtet), so bereitet sich das Team jetzt auf die nächste große Performance vor: Die „SwarmOS Research Demos“ am Ars Electronica Festival 2019 (5 – 9 September).
Dort werden verschiedene Anwendungen für das eigens entwickelte Schwarmbetriebssystem SwarmOS gezeigt, unter anderem auch Swarm Arena, der derzeit größte und umfassendste Prototyp der langjährigen Forschung. Peter Holzkorn vom Ars Electronica Futurelab und Hiroshi Chigira von NTT haben im Interview mehr zu den technischen Hintergründen von SwarmOS, den aktuellen Forschungsfortschritten und der Zukunft von Schwarmtechnologie verraten.
Eine der größten Anwendungen für SwarmOS ist momentan Swarm Arena – was ist das genau?
Peter Holzkorn: Wir haben schon seit einigen Jahren eine Forschungskooperation mit dem japanischen Kommunikationsunternehmen NTT, unter dem Motto „Vision Towards 2020“. Wir nahmen das Jahr 2020, als Jahr der großen Sportevents, als Anlass, um darüber nachzudenken, wie man in Zukunft Sportgroßveranstaltungen mit Drohnen- oder Roboterschwärmen erweitern oder übertragen kann. Wir forschen mit Swarm Arena daran, wie man mit Robotern und Schwärmen ein Rahmenprogramm, eine künstlerische Vision, Informationen oder Visualisierungen kommuniziert.
Swarm Arena ist dabei nur das neueste Ergebnis. Kannst du mir einen Überblick darüber geben, was bisher geschah?
Peter Holzkorn: Das erste Projekt in der Reihe war Sky Compass, das wir 2017 beim Research Forum von NTT in Tokio gezeigt haben. Damals kamen ausschließlich Drohnen zum Einsatz. Es war eine Design Study in einem kleinen Demoraum, wo wir mit nur fünf Drohnen die Möglichkeit skizzierten, wie diese Drohnen Besuchende leiten oder Informationen vermitteln und darstellen könnten. Wie kann man einen solchen Schwarm zu einem Informationssystem machen? Vielleicht im Kontext eines Großevents in der Stadt?
Sky Compass, 2017. Credit: Michael Mayr.
Beim Ars Electronica Festival 2017 schließlich haben wir das Konzept leicht überarbeitet und den Schwerpunkt auf andere Aspekte verlegt. Vor allem stand seitdem der Schwarmaspekt im Vordergrund, im Gegensatz zu diesem Outdoor- oder Sky-Aspekt, der anfangs sehr zentral war. Unsere Schwarmtechnologie konnte also auch im Stadion oder anderen Räumen passieren und musste nicht mehr unbedingt am Himmel stattfinden.
Swarm Arena, 2018. Credit: Tom Mesic
Seit 2018 heißt das Hauptprojekt jetzt Swarm Arena – hier geht es dann konkret um das Event. Wie kann man beispielweise ein Sportevent erweitern und virtuell ergänzen? Im Februar 2018 zeigten wir beim NTT Research Forum in Tokio einen gemischten Schwarm aus Robotern und Drohnen, die zum Teil auch gleichzeitig unterwegs waren. Wir haben mit 12 Vehikeln eine Augmented Arena und eine Virtual Arena skizziert und dem Publikum die Möglichkeit gegeben, sich vorzustellen, wie es wäre, wenn so etwas in größerem Rahmen passiert.
Dieses Jahr, 2019, legten wir den Fokus auf die Bodenroboter. Wir arbeiten also jetzt mit einem Schwarm dieser Roboter, die alle ein hexagonales LED-Display mit einer circa 100 mal 100 Pixelauflösung tragen. Gemeinsam können sie Mosaikbilder erstellen, sie können sich aber auch frei und individuell am Boden bewegen. Das gibt natürlich eine sehr viel höhere Auflösung als bei den Drohnen, die jeweils als nur ein Pixel funktionieren. Mit den Bodenrobotern entstehen jetzt ganze Videos oder Bilder! Gleichzeitig wird das Geschehen auf den Boden verlagert, sodass es am besten von oben, von der Tribüne eines Stadions aus etwa, zu beobachten ist.
Wie du schon erwähnt hast, wurden mit Augmented Arena und Virtual Arena verschiedene Prototypen erarbeitet, die sich mit Public Viewing und Großsportevents auseinandersetzen. Das funktioniert nicht nur direkt beim Sportevent, sondern auch ortsunabhängig…
Peter Holzkorn: Es kann ein Travelling Lab for Sports, Art and Entertainment sein. Das ist aber nur eine Art und Weise, wie man unsere Schwarmtechnologie einsetzen kann. Die Bodenroboter sind portabel und können bei unterschiedlichen Events und in verschiedenen Situationen auftreten. Nicht jede Art von Event ist für jede Art von Darstellung geeignet. Der Kontext muss stimmen. Uns interessiert primär der Schwarm als visuelles Medium – das kann in vielen Situationen sehr unterschiedlich aussehen.
Eines unserer Konzepte ist zum Beispiel, dass ein Sportevent live übertragen werden sollte – man kann zum Beispiel Bewegungen mappen oder nachstellen. Das funktioniert aber nur für eine sehr begrenzte Anzahl von Events. Ein Beispiel: Bei unserer Demonstration von Swarm Arena im Museum Miraikan in Tokio im Sommer 2019 haben wir uns auf Schwimmen konzentriert. Es ist eine Sportart, die man klassisch von oben betrachtet; es gibt eine flüssige Bewegung in zwei Dimensionen; und der Aspekt der Ästhetik ist relativ wichtig. Das bedeutet nicht, dass wir unbedingt immer nur Schwimm-Übertragungen machen müssen, oder auch nicht immer nur Live-Übertragungen. Schwimmen funktioniert auch sehr gut mit künstlerischem Ausdruck.
Credit: Ars Electronica Futurelab / Raphael Schaumburg-Lippe
Was man bei der Performance in Miraikan sehr gut sehen konnte…
Peter Holzkorn: Genau das wollten wir bei der Performance in Tokio zeigen. Es gab Szenen, wo man die Schwimmer und Schwimmerinnen sehr explizit sehen konnte, und dann wieder Szenen, in denen sehr abstrakte Muster überwogen oder in andere Visuals übergingen. Wir wollten das Spektrum abbilden. Unser Schwarm ist nicht nur eine neue Art von Display, sondern eröffnet auch andere ästhetische Möglichkeiten.
Das ist genau das, wofür Ars Electronica bekannt ist: Die Verbindung von Kunst, Technologie und Gesellschaft.
Peter Holzkorn: Ja. Dadurch, dass wir auch die Künstlerin Akiko Nakayama und den Musiker Ei Wada mit ins Boot geholten haben, zusammen natürlich mit ihren ästhetischen Herangehensweisen, konnte die Performance einen sehr spannenden ästhetischen Bogen spannen. Man sah die Inspiration des konkreten Sportevents, aber es ging nicht nur alleine um die Performance des Sportlers oder der Sportlerin, sondern um die Gesamterfahrung, um Erwartungen, Wahrnehmungen, das Rahmenprogramm und die Stimmung.
Hiroshi Chigira: Ein gutes Beispiel für die Mischung von Schwarmtechnologie und künstlerische Vision ist die „Giant Swimmer“ Szene bei der Miraikan-Performance, wo der Boden in einen Swimming-Pool mit Schwimmenden und zusätzlichen künstlerischen Effekten verwandelt wurde. Während wir mit verschiedenen Computer-Vision-Technologien getestet und Prototypen erstellt haben, um die ästhetischen Elemente der Schwimmenden zu extrahieren, und während wir mit dem Design-Team gesprochen haben, sind wir darauf gekommen, die schwimmende Person „unsichtbar“ zu machen, sodass nur die Wasserspritzer zurückbleiben, und damit das Schwimmmanöver zu visualisieren. Solche einzigartigen Ideen mit Technologie und künstlerischer Essenz zu finden ist essentiell für Swarm Arena – und auch wirklich sehr aufregend.
Es ist gar nicht so leicht, einen Schwarm zu koordinieren. Mit welchen Herausforderungen ist man bei so einer Show konfrontiert?
Hiroshi Chigira: Wir haben die Performance in Miraikan mit 39 Bodenrobotern erfolgreich veranstaltet, aber wenn wir wirklich große Schwärme außerhalb dieses Kontextes zeigen wollen, eine größere Schwarmperformance draußen machen wollen, dann wird das auf jeden Fall schwieriger. Aus einer technologischen Perspektive ist eine der größten Herausforderungen momentan die des Trackings und des Positionierens. Präzision und Verlässlichkeit sind zwei grundsätzliche Voraussetzungen, um wirklich natürliche Schwarmbewegungen schaffen zu können.
Damit solche Performances leichter werden, hat das Ars Electronica dafür eine Software entwickelt: SwarmOS. Kannst du mir mehr davon erzählen?
Peter Holzkorn: SwarmOS ist seit einiger Zeit in Arbeit. Es ist, wie der Name schon sagt, ein Betriebssystem für Schwärme. Wir hatten mit unseren Drohnen, den Spaxels, bereits über einige Jahre sehr spezifische Drohnen mit sehr spezifischen Ansprüchen. Wir wollten aber ein Interface, das mit verschiedenen Vehikeln arbeiten kann, nicht nur mit unseren Spaxels. Gleichzeitig wollten wir Dritten die Möglichkeit geben, unsere Tools zu nutzen. Bei der ersten Research Demo in Tokio haben wir also schon eine prototypische Version von SwarmOS verwendet, damals für Bodenroboter und Drohnen gemeinsam. Dieses Mal, am Ars Electronica Festival 2019, sind es nur Bodenroboter, dafür eine Weiterentwicklung von SwarmOS. Wir zeigen Anwendungen dieser Software, unter anderem eben auch eine Demo-Version von Swarm Arena.
Wie funktioniert SwarmOS genau?
Peter Holzkorn: Wir verwenden eine Ground Control Software als Kommandozentrale. Auf jedem Vehikel gibt es ein kleines Modul, wir nennen es Implant, das gemeinsam mit der Ground Control die gesamte Kommunikation und die gesamte Logik der Schwarmsteuerung abstrahiert. Diese Ground Control und das Implant sind die beiden Kernkomponenten des SwarmOS. Daraus entstehen für die einzelnen Vehikel Wegpunkte oder Drehbefehle. SwarmOS übernimmt die Aktionsebene der Kommunikation und der Synchronisation, das Timing und die Schwarmüberwachung. Das kann man für verschiedene Anwendungen benützen – für uns ist Swarm Arena der Proof of Concept von SwarmOS und auch die größte Anwendung bisher.
Man kann SwarmOS mit vorbestimmter Choreographie oder auch in einem Szenario mit Live-Interaktion verwenden. Es ist so abstrakt, dass es auch andere Vehikel unterstützt – zumindest solange sie gewisse Protokolle unterstützen. SwarmOS sollte leicht in ein anderes System integrierbar sein, das ist ein großer Schritt. Das ist sehr praktisch für uns, aber auch für Dritte.
Bis jetzt haben wir erfahren, was in der Vergangenheit passierte und was der momentane Entwicklungsstand ist. Jetzt interessiert mich natürlich noch: Wie geht es jetzt weiter?
Peter Holzkorn: Bei Swarm Arena haben wir natürlich Ideen und Pläne für die nähere Zukunft. Früher haben wir viel mit dem Thema der Navigation gearbeitet, danach hat es sich zu Swarm Arena weiterentwickelt. Jetzt gehen wir immer stärker in Richtung des künstlerischen Ausdrucks. Wir interessieren uns für Stimmung von Events, für die Atmosphäre.
Fest steht jedenfalls, dass wir alle zukünftigen Projekte auch auf Basis von SwarmOS umsetzen werden. Wir arbeiten auch immer mehr daran, dass SwarmOS auch etwas ist, das man leicht an andere weitergeben kann – Forschungspartner genauso wie Hersteller. Vielleicht wird es noch nicht so bald passieren, dass Endkunden und Endkundinnen zuhause eigene Drohnenshows mit SwarmOS fliegen können, aber es ist auf jeden Fall nicht mehr weit, bis wir mit Industrie- und Forschungspartnern gewisse Projekte auf diese Weise umsetzen können.
Hiroshi Chigira: Wir könnten uns verschiedene Szenarien in Verbindung mit Sportevents vorstellen, wie zum Beispiel ortsunabhängiges Public Viewing oder die Augmentation von Sportevents direkt vor Ort, wie wir das auch bei vorhergehenden Swarm Arena Demos gezeigt haben. Eine mögliche Idee wäre auch ein bewegliches Navigationssystem im Stadion. Indem man die Schilder auf Fußballfeldern mit Robotern ersetzt könnte man zum Beispiel Informationen in Echtzeit und in natürlichen Bewegungen darstellen. Es sind auch Entertainment-Inhalte in der Halbzeit, die die Sporterfahrung erweitern, denkbar. Ein Werkzeug zum Visualisieren und Analysieren von Sportveranstaltungen wäre eine weitere Möglichkeit, weil die Skalierbarkeit und Mobilität uns dazu bemächtigen, sehr flexible Displays zu gestalten, mit denen man die Sportszenen gut analysieren könnte. Daraus könnten eine bessere Teamstrategie oder attraktivere Sportprogramme im Fernsehen entstehen.
Hiroshi Chigira, Research Engineer, NTT Service Evolution Laboratories. Hiroshi Chigira arbeitet seit 2009 bei Nippon Telegraph and Telephone Corporation (NTT), seit 2016 arbeitet er gemeinsam mit dem Ars Electronica Futurelab an der Forschung für fortgeschrittene soziale Kommunikationsinfrastruktur.
Peter Holzkorn ist Key Researcher & Artist im Ars Electronica Futurelab, dem er 2011 beitrat. Seine Arbeitsschwerpunkte umfassen Design und Entwicklung von verteilten Sound- und Echtzeitgrafikanwendungen, oftmals in Verbindung mit Sensornetzwerken und generativen Inhalten. Sein Hauptforschungsgebiet ist Converged Reality, insbesondere die Technologien und Wirkungen einer Auflösung der Kategorien „virtuell“ und „real“. Weitere Forschungsinteressen umfassen Data Art und Live Coding / Experimental Programming.
Mehr über SwarmOS, Swarm Arena und frühere Projekte im Rahmen des gemeinsamen Forschungsprojekts von NTT und dem Ars Electronica Futurelab erfährst Du auf unserer Website und in zuvor veröffentlichten Interviews im Ars Electronica Blog. Weitere Informationen zu den SwarmOS Research Demos auf dem Ars Electronica Festival 2019 gibt’s im diesjährigen Festivalprogramm.
Um mehr über Ars Electronica zu erfahren, folge uns auf Facebook, Twitter, Instagram und Co., abonniere unseren Newsletter und informiere dich auf https://ars.electronica.art/.