„Swarm Compass“ – hinter diesem Wort steckt die Idee, Menschen mittels Schwarmintelligenz zu leiten und dadurch ein komplett neuartiges Medium im Entertainment- und Kommunikationsservicebereich zu schaffen. Gemeinsam mit dem Telekommunikationsriesen NTT arbeitet das Ars Electronica Futurelab daran, diese Vision Wirklichkeit werden zu lassen. Zum Einsatz kommen soll die schwarmbasierte Technologie bereits 2020, in Tokio, wo Drohnen TouristInnen wie auch EinwohnerInnen ihre jeweiligen Ziele auf spielerische Weise zeigen sollen. Auch Events sollen in Zukunft mit dem „Swarm Compass“ visualisiert werden können.
Prototyp und Vorläufer des „Swarm Compass“ war der „Sky Compass“ – er wurde etwa für die Steuerung der Ars Electronica SPAXELS®-Drohnen benutzt. Wie eine solche neuartige, schwarmbasierte Kommunikation aussehen könnte, zeigten das Ars Electronica Futurelab und NTT mithilfe der SPAXELS® auch beim diesjährigen Ars Electronica Festival. Jetzt verraten Hideaki Ogawa, kreativer Katalysator, Künstler, Kurator und Wissenschaftler im Bereich von Kunst, Technologie und Gesellschaft am Ars Electronica Futurelab, und Shingo Kinoshita, Leiter des „2020 Epoch-making Project“ bei den NTT Service Evolution Laboratories in Japan, mehr über die Neuerungen in der Forschung zu Schwarmintelligenz und geben Einblicke in zukünftige NTT-Technologien für das Jahr 2020.
Hideaki, wie unterscheidet sich der „Swarm Compass“ vom Vorgänger „Sky Compass“?
Hideaki Ogawa: Wie wir schon letztes Jahr am Beispiel der Forschung mit unseren SPAXELS® gezeigt haben, haben wir eine neue Dimension an bewegbaren Objekten erreicht, die unsere Art, wie wir die Wirklichkeit begreifen, grundlegend verändert. Unsere Forschung ist nun darüber hinausgegangen, diese Technologien nur als Werkzeuge zur Navigation und Beschilderung zu nutzen, also das, was wir mit dem „Sky Compass“ noch gemacht haben. Das Projekt wurde damals vom Ars Electronica Futurelab gemeinsam mit NTT entwickelt, einer der größten Telekommunikationsfirmen in Japan. Genauso, wie wir mit „Sky Compass“ die Möglichkeiten einer sogenannten „Sky Language“, also Sprache der Lüfte, erforschten, treten wir jetzt in eine Phase ein, wo wir uns fragen: Wie können diese fliegenden Fahrzeuge als ein Modell für Schwarmintelligenz dienen?
Horst [Horst Hörtner, Senior Manager am Ars Electronica Futurelab] erdachte die SPAXELS®-Quadcopter als miteinander vernetzte, fliegende Bausteine für die Generation von Objekten materieller-visueller Art im Himmel. Die Idee, unbemannte Luftfahrzeuge („unmanned aerial vehicles“, UAVs) als Partikel zu nutzen, die einen intelligenten Schwarm an Robotern bilden, war also bereits etabliert, als die „SPAXELS® Research Initiative“ am Ars Electronica Festival 2017 vorgestellt wurde. Wir zeigten außerdem den Status Quo unserer Entwicklung, ganz ähnlich wie auch bei der Präsentation des „Sky Compass“ am NTT R&D Forum im Februar 2017. Bei beiden Veranstaltungen benutzten wir dieselben Symbole und ein paar bestimmte Szenen, um dem Publikum einen kleinen Einblick zu gewähren, was wir eigentlich mit „Sky Language“ und „User Responsibility Design“ meinen. Es hing trotzdem noch alles mit den Konzepten von Beschilderung und visuelle Kommunikation mit der Öffentlichkeit zusammen.
BesucherInnen am Ars Electronica Festival 2017 bei einer Demonstration der SPAXELS®, die die Basics der „Sky Language“ zeigen. Credit: Florian Voggeneder
Gibt es eine neue Technologie, mit der Schwarmintelligenz steuerbar wird?
Hideaki Ogawa: Da NTT sich gemeinsam mit dem Ars Electronica Futurelab die Aufgabe gestellt hat, Japan im Jahr 2020 zu animieren, werden wir das Konzept der Schwarmintelligenz ausarbeiten. Es sollte zu einem System von Beschilderungen und fliegenden Bildschirmen werden, das spektakuläre Renderings von Events, wie zum Beispiel im Sport, bietet. Verglichen mit der Technologie, die wir bis jetzt zum Kontrollieren der SPAXELS® benutzt haben, wird die Herausforderung, ein spektakuläres Erlebnis zu schaffen, mit einer brandneuen Software, SwarmOS, gemeistert. Sie wurde von der SPAXELS® R&D Abteilung entwickelt und steuert die Mission autonom, vom Start bis zur Landung. Die „Flight Controllers“ überwachen den Schwarm nur während des Betriebs. Sie kontrollieren die Performance des Schwarms mit einem SwarmControls 3D grafischen Interface und können es auch manuell überschreiben, falls das nötig ist. Die SwarmOS Design Tools zeugen von einer hochautomatisierten Herangehensweise an Design, das einen kollisionsfreien Weg für jedes teilnehmende UAV im Schwarm generiert. Das ist ein riesiger Schritt im Vergleich zur Originaltechnologie. Es ermöglicht eine Interaktion zwischen jedem Objekt.
Was ist das Ziel der Entwicklung in Bezug auf praktische Anwendungsmöglichkeiten?
Hideaki Ogawa: Wir beginnen gerade damit, nach Handhabbarkeit zu streben, um ein Spektrum von unlimitierten fliegenden Bildschirmen zu haben, die Bilder von Events überliefern, die man zuvor nur von weit entfernt beobachten konnte. In diesem Anfangsstadium entwickelten wir einen Prototyp eines fliegenden Bildschirms, von denen eine große Anzahl in der Zukunft fliegen werden. Stellen Sie sich eine Speerwerferin vor, oder einen Stabhochspringer, die Zuschauer und Zuschauerinnen in Sitzen hoch oben in der Arena nur als winzige Figuren erkennen können, oder die sie nur als Repräsentation auf einer LCD Videowand sehen. Um eine komplett neue Erfahrung zu schaffen, steuern wir fliegende Leinwände, die es möglich machen, Begeisterung viel mehr zu teilen als bisher übliche Technologien. „Swarm Display“-Applikationen machen die Vorstellung von Schwarmkommunikationsservices möglich. Wenn Zuseher und ZuseherInnen die dynamischen Bewegungen von Athleten und Athletinnen auf einem Schwarmdisplay verfolgen, haben sie außerdem die Option, die Bewegung mittels Daten, geliefert via Big Data, nachzuvollziehen. Das ist ein Feld, in dem NTT unglaubliche Expertise vorweist. Indem wir die Big Data Analyse der Sportart und die expressiven Mittel des Schwarms miteinander kombinieren, schaffen wir außergewöhnliche Momente.
Ist dieses Konzept von Entertainment limitiert auf eine bestimmte Art von Veranstaltung oder Ort?
Hideaki Ogawa: Das, was wir „Swarm Arena“ nennen, kann eigentlich an jeden beliebigen Ort der Welt transportiert werden. Es muss nicht unbedingt bedeuten, dass es sich um eine Aktivität in einer Sportarena handelt. Alle diese Momente können transportiert und wiedererlebt werden. Bei einem Public Viewing wird die Erfahrung durch die involvierten Personen noch verstärkt. Im Vergleich zu den ursprünglichen SPAXELS®, die im Grunde genommen eine Kombination von Punkten waren, die zusammen ein Bild formten, wird es eine Vielzahl von Bildschirmen geben, von denen jeder ein Detail eines Echtzeitevents zeigt. Es handelt sich um ein komplett neues Medium, das die Wirklichkeit als Kulisse darstellen wird. Wir werden unsere weiteren Entwicklungen immer wieder in unseren nächsten Veranstaltungen zeigen. In dieser Anfangsphase fokussieren wir uns auf den Himmel als Leinwand für einen Schwarm aus intelligenten Objekten, aber auf längere Sicht werden wir uns nicht nur darauf beschränken. Stattdessen möchten wir diese Herangehensweise auf weitere Leinwände ausweiten.
Hideaki Ogawa erklärt die Gruppennavigation der Schwarms während der Präsentation des „Swarm Compass“ am Ars Electronica Festival 2017. Credit: Florian Voggeneder
Shingo Kinoshita, wie würden Sie die fortgeschrittene Informations- und Kommunikationstechnik von NTT für die „Swarm Arena“ benützen?
Shingo Kinoshita: Wir sehen in der Verwirklichung der „Swarm Arena“ mehrere Herausforderungen, wie zum Beispiel die Kommunikation zwischen dem Schwarm und den Menschen oder die dynamische und interaktive Kontrolle von großen und heterogenen Schwärmen, die bedeutet, dass alles in Echtzeit, im Flug, passieren muss. Wir von NTT können zu diesem Projekt dadurch beitragen, dass wir unsere Kommunikationsverarbeitungstechnologien wie 5G, Hochleistungs-WiFi und synchrone Übermittlung von Medien integrieren.
Konkret sind das Medienverarbeitungen wie Spracherkennung, Synthese, intelligente Mikrophone, Bilderkennung und –Verarbeitung. NTT spezialisiert sich auch auf Machine Learning Technologien und Künstliche Intelligenz, zum Beispiel mit Vorhersagen von Menschenströmen, Navigationstechnologie oder Neuronalen Schaltkreisen. Im Bereich des Internet of Things (IoT) entwickelten wir eine besondere Kontrolle für Gerätekooperationen (R-env), das es uns ermöglichen wird, spontane Netzwerke von internetfähigen Geräten, Sensoren und sogar ganzen Infrastrukturen herzustellen. Im Feld des Designs der NutzerInnenerfahrung, oder User Experience Design, werden wir stark mit dem Team der Ars Electronica zusammenarbeiten, um neue Interfaces zur hochrangigen Kommunikation zwischen Menschen und schwarmfähigen Geräten zu entwickeln. Unser robustes Echtzeit-Positionierungssystem [real-time positioning system, RTK] wird uns dabei helfen, präzise und dynamische Messungen zu Menschenströmen durchzuführen, um diese Daten mit unserem schwarmfähigen Netzwerk von intelligenten Geräten zu koppeln.
Was würden Sie gerne im Jahr 2020 nach Japan bringen?
Shingo Kinoshita: Wir möchten einen epischen Moment für die Menschen in Tokio schaffen. Unsere gemeinsame Forschung und Entwicklung mit Ars Electronica zielt nicht nur auf das Jahr 2020 ab, sondern auch für die Jahre danach. Wir bei NTT möchten eine komplett neue Domäne für Kommunikationserfahrungen für dynamische, schwarmfähige, soziale und öffentliche Entertainment-Services schaffen und die Basis für eine neue Kommunikationstechnologie schaffen, die in der öffentlichen Sphäre zum ersten Mal in Tokio im Jahr 2020 auftreten wird.
Hideaki Ogawa (JP/AT), kreativer Katalysator, Künstler, Kurator und Wissenschaftler im Ars Electronica Futurelab. Er realisierte viele Projekte für Innovation mit Industriepartnern wie Honda R&D, Toshiba, Toyota, Hakuhodo und mehr. Sein Fokus liegt besonders auf dem Bereich Art Thinking, um Innovation zu katalysieren. Sein Hauptprojekt, Future Catalysts, ist eine kreative und innovative Plattform, die gemeinsam von Hakuhodo und Ars Electronica entwickelt wurde. Durch eine Synergie mit distinkten, weltweiten InnovatorInnen in den Bereichen der Kunst, Wissenschaft und Technologie produziert das Projekt neue Konzepte, Ideen und Strategie, die als Antworten zu verschiedenen „kreativen Fragen“ dienen. Zusätzlich zu seiner Forschung an künstlerischer Innovation setzte Hideaki Ogawa internationale Projekte für Festivals, Exportprogramme wie Ars Electronica im Knowledge Capital und das Ars Electronica Center um. Seine Spezialthemen sind „Creative Catalyst“ und „Robotinity – What Is The Nature of Being a Robot“. Hideaki Ogawa ist außerdem ein Repräsentant und Künstlerischer Leiter der Medienkunstgruppe “h.o.”. Er sucht nach witzigen neuen Ideen, abhängig von aktuellen sozialen Kontexten, und realisiert künstlerischen Ausdruck mit der Geschwindigkeit von technologischem Fortschritt.
Shingo Kinoshita (JP), leitender Entwicklungsingenieur, Supervisor und Projektleiter der NTT Service Evolution Laboratories. Kinoshita hat einen B.E. der Osaka Universität (1991) und einen M.Sc. mit Auszeichnung in Technologiemanagement des University College London (2007). Seitdem er 1991 den NTT Laboren beitrat, arbeitet er im Bereich Forschung und Entwicklung mit verteilten Rechensystemen, Sicherheit, Big Data Computing und Machine Learning. Shingo Kinoshita war der leitende Manager der Forschung & Entwicklung Planabteilung der NTT Holding Firma von 2012 bis 2015, wo er das NTT Innovation Institute, Inc. in Nordamerika aufbaute und betreute, sowie Kooperationen und unternehmerische Venture Investments leitete. Er ist momentan zuständig für die allgemeine Leitung verschiedener experimenteller Forschungs- und Entwicklungsaktivitäten für 2020, unter anderem Assistenzsysteme für AusländerInnen und Entertainmentservices wie kabuki und SXSW. Shingo Kinoshita erhielt den 2005 IPSJ R&D Award von der Information Processing Society of Japan (IPSJ), den 2003 CSS (Computer Security Symposium) Best Paper Award, den 1998 DICOMO Best Presentation Award, den 2017 Cool Japan Matching Awards Grand Prix, den 2017 Spikes Asia Innovation Category Shortlist und Music Category Shortlist und den 2017 ACC Innovation Category New Technology Award.
Um mehr über Ars Electronica zu erfahren, folgen Sie uns auf Facebook, Twitter, Instagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.