Um Hunderte Drohnen gleichzeitig in der Luft zu steuern, sie Formationen fliegen zu lassen und zusätzlich auch noch mit Lichteffekten zu spielen, braucht es vor allem gute Planung. Der Mindestabstand von sechs Metern will eingehalten, die Formationen gestaltet und koordiniert und die Übergangsflüge getaktet werden – und das möglichst effizient. „Es war ein iterativer Prozess, in dem wir eigentlich sehr viel Zeit mit technischen Details verbracht haben, nicht sehr viel mit Inhalt und den künstlerischen oder ästhetischen Qualitäten einer Show“, beschreibt Michael Treml die Arbeitsweise des SPAXELS® Teams bis vor ein paar Monaten.
Er wollte das ändern. Michael ist seit ungefähr einem Jahr Teil des SPAXELS® Teams und arbeitet seitdem an Ideen und Algorithmen, die das Showdesign erleichtern. Das Ziel: Eine Art und Weise zu finden, mit der die Übergänge von einer Drohnenformation in die nächste automatisiert werden können.
Video: Das Show Design Tool war der Vorgänger von Swarm3D.
Lernen durch Beobachtung
Bevor er allerdings mit dem Programmieren beginnen konnte, musste Michael die bestehenden Arbeitsabläufe besser kennenlernen. „Für mich war es am Anfang sehr schwierig, einen Einblick zu bekommen, weil der Prozess sehr vielschichtig ist“, erinnert er sich. „Man muss sehr viele Dinge berücksichtigen, es gehört viel Erfahrung dazu.“ Die ersten drei Monate also heftete er sich an die Fersen von Patrick Berger und Raphael Schaumburg-Lippe. Die beiden Showdesigner entwerfen SPAXELS®-Shows, gestalten Drohnenformationen und programmieren passende Farbanimationen.
„Es war kein Problem, Formationen in den Himmel zu stellen, weil man sie einfach so baut, dass alle Drohnen weit genug auseinander fliegen“, erklärt Patrick Berger. „Aber wenn man dann in die nächste Formation flog, musste man die erste abhängig von der zweiten arrangieren, um Kollisionen zu vermeiden. Das war ein großer Aufwand!“ Besonders, wenn die Arbeit größtenteils manuell geschieht. Wenn außerdem nach dem Design eine Kollision bei der Simulation der Show in der Ground Control Software angezeigt wurde, mussten die Designer die Flugbahn der gefährdeten Drohne wieder im Animationsprogramm 3ds Max korrigieren. Dass dadurch manchmal mehr neue Kollisionen geschaffen wurden, als behoben wurden, erschwerte die Arbeit noch zusätzlich.
Michael Treml macht sich Gedanken über Schwärme. Credit: Vanessa Graf
Probieren, probieren, probieren
Genau an diesem Punkt setzte Michael Treml an. „Ich habe viel zu Kollisionsvermeidungsalgorithmen gelesen und recherchiert, was da in der Forschung in den letzten Jahren passiert ist“, beschreibt er seinen Arbeitsprozess. Nach der Recherche ging es ans Ausprobieren: „Der erste Versuch war ein völliger Fehlschlag“, lacht er. Besonders bei größeren und komplexeren Schwärmen versagte der Algorithmus, also begann er noch einmal von vorne, lernte aus seinen Fehlern und bastelte so lange weiter, bis die erste Version von Swarm3D einsatzbereit war.
Allerdings geschah all das nicht alleine: Damit die Software den Designprozess auch wirklich erleichtert, ließen die beiden Showdesigner Patrick und Raphael von Anfang an ihre Meinung und hilfreiche Tipps in Michaels Arbeit einfließen. „Hacks“, nennt Treml diese Ideen, Kommentare und Anregungen, die von Design-Seite an ihn herangetragen und während des Entwicklungsprozesses auf ihre praktische Anwendbarkeit geprüft wurden. Viele dieser „Hacks“ entpuppten sich als wertvolle Funktionserweiterungen des Algorithmus. Auch die Tatsache, dass Swarm3D jetzt als Plug-In für 3ds Max erhältlich ist und nicht etwa als eigenständige Software funktioniert, ist für den Designprozess sehr wichtig: Der normale Workflow wird so möglichst nicht unterbrochen.
Die Feuerprobe: Rock in Rio 2017
Im September, nur wenige Monate nach Beginn der Entwicklung von Swarm3D, sollte der Algorithmus zum ersten Mal öffentlich zum Einsatz kommen. Rock in Rio, das große Rockmusikfestival in Brasilien, hatte die SPAXELS® als Showeinlage gebucht – während also in Südamerika alles für die Konzerte und Bands vorbereitet wurde, bemühten sich Michael, Patrick und Raphael um den letzten Feinschliff an ihrer Software.
Ob das nicht stressig gewesen wäre, der erste Einsatz des neuen Algorithmus bei einer solchen Großveranstaltung? „Wir haben uns auf die Erfahrungen von vorherigen Shows verlassen, auf die bei uns üblichen Mindestabstände der Drohnen und auf die Simulation in der Ground Control“, erzählt Patrick Berger. „Von meiner Warte aus war das aussagekräftig genug, um zu sagen, da sollte nichts schief gehen.“
Die Drohnen zeichnen den Schriftzug „Rock in Rio“ in die Luft. Credit: Rock in Rio
Auf die Plätze, fertig, Drohnenshow!
Und wirklich: Wie auch bei den zuvor manuell designten Shows lief alles nach Plan, keine einzige Drohne fiel vom Himmel, keine Kollision störte die Show. Bei insgesamt neun Auftritten, verteilt auf sieben Tage, eine ausgezeichnete Bilanz – auch, weil die Zeitersparnisse dank der neuen Software enorm sind: „Für die nächste Show, die wir generieren, wird für das Design nur mehr ein Drittel der Zeit gebraucht“, so Michael Treml.
Weil diese Anwendung deshalb auch für andere Drohnenshow-Anbieter interessant sein könnte, ging die Entwicklung nach Rock in Rio in die nächste Phase. Die grafische Oberfläche wurde verbessert, der Code auf einem Server gehostet, letzte Änderungen durchgeführt, bis Swarm3D Anfang des Jahres 2018 schließlich in der Beta-Version getestet werden konnte.
Ein Beispiel für einen animierten Mesh. Credit: Ars Electronica Futurelab
Zeit für mehr Kreativität
„Man schafft jetzt schnellere Übergänge“, erklärt Patrick Berger die Vorteile der Software. „Man ist daher auch in der Gestaltung flexibler, weil man schneller etwas ändern kann.“ Die designten Meshes, oder Formationen, werden nach einer Änderung ganz einfach automatisch von Swarm3D aneinandergefügt, und zwar so effizient wie möglich – „optimale Flugpfade“, sagt Raphael Schaumburg-Lippe. Da eine Show immer vom Batterieleben der Drohnen abhängig ist und die Übergänge nicht nur schneller errechnet, sondern auch geflogen werden, passen nun auch mehr Formationen in eine einzelne Show.
Drohnenstart. Credit: Martin Hieslmair
Zukunftspläne
Und für die Zukunft? Michael, Patrick und Raphael mangelt es auf jeden Fall nicht an Ideen. Die Drohnen in Sub-Schwärme zu unterteilen und damit asymmetrische Timelines innerhalb einer Show zu schaffen, gewisse Parameter der Drohnen zu individualisieren oder die Arbeit mit Hindernissen im Flugfeld sind nur einige. „Früher oder später wäre es auch interessant, die Trajektorien auf die Drohnen zu speichern und zu sehen, ob wir Kollisionsvermeidung auch live schaffen können“, meint Patrick Berger. Michael Treml fügt noch hinzu: „Wir haben auch sehr viel darüber diskutiert, das Start- und Landeverhalten zu automatisieren. Oder einen Show-Element-Generator zu machen.“
Credit: Ars Electronica Futurelab
Die vielen Ideen und Anregungen für Swarm3D holen sich die drei Drohnen-Experten aus ihrem Umfeld. Der Taubenschwarm, der rund um das Ars Electronica Futurelab oft seine Runden zieht, hat zum Beispiel sehr viel mit der neuen Software zu tun, genauso wie die Linzer Stadtbienen, die am Dach wohnen. Auch die Stahlstadt selbst hilft mit: „Wir haben für unsere Algorithmen, die die Drohnen steuern, sehr viel Inspiration aus Konzepten der statistischen Physik, der Thermodynamik und der Metallurgie geholt“, erzählt Michael Treml. „Die mathematischen Modelle, die zum Beispiel das Abkühlen von geschmolzenen Legierungen in der voestalpine beschreiben, kann man dazu verwenden, schnellere Übergänge zwischen Drohnenformationen zu schaffen.“ Sogar bei der Beobachtung von Menschenströmen in der Linzer Innenstadt kann man sehen, wie die „unbewussten Kollisionsvermeidungsalgorithmen“ von Menschen funktionieren – und diese Erkenntnisse anschließend auf die Drohnen anwenden.
Mehr als genug Einfälle also, um Swarm3D noch weiter auszubauen. Wer weiß, was aus der Software noch wird – schließlich konnte zu Beginn der Arbeit auch noch niemand ahnen, dass Swarm3D nicht nur innerhalb des Ars Electronica Futurelabs zum Einsatz kommen wird, sondern als Plug-In für Dritte erscheint.
Noch mehr zu den SPAXELS® Drohnen finden Sie in diesem Artikel auf Autodesk.
Um mehr über Ars Electronica zu erfahren, folgen Sie uns auf Facebook, Twitter, Instagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.