Sie ist jedes Jahr aufs Neue eines der absoluten Highlights am Ars Electronica Festival: Die Große Konzertnacht. Die alte Gleishalle in der POSTCITY Linz wird dieses Jahr zum letzten Mal Schauplatz dieses einzigartigen Spektakels; Roboter, Tänzerinnen, das Bruckner Orchester und vieles mehr verwandeln die grauen Industriehallen noch einmal in einen einzigartigen Konzertsaal. Ein Teil davon wird dieses Jahr das „Mahler-Unfinished“-Projekt sein – der Versuch, mithilfe eines künstlich intelligenten Systems Mahlers unvollendete zehnte Sinfonie zu vervollständigen.
Ali Nikrang, Key Researcher und Musikexperte am Ars Electronica Futurelab, und Markus Poschner, Chefdirigent des Bruckner Orchester Linz, verraten im Interview, welche Herausforderungen ein solches Vorhaben mit sich bringt – und wie sich Künstliche Intelligenz überhaupt mit Musik vereinen lässt.
Markus Poschner. Credit: vog.photo
Zuerst zur ursprünglichen Musik: Es wird mit einem unvollendeten Stück von Gustav Mahler gearbeitet…
Ali Nikrang: Die Sinfonie ist in der Tat unvollendet. Der erste Satz ist zwar im Großen und Ganzen vollendet, bei Mahler war allerdings der Prozess des Komponierens so, dass er zuerst komponierte und Skizzen erstellte, das Stück anschließend orchestrierte und es nach der ersten Aufführung oder den ersten Proben noch mal überarbeitete. Das war bei diesem Stück nicht so, auch der erste Satz wurde noch nie von ihm selbst aufgeführt. Man hat allerdings später herausgefunden, dass die Skizze des ersten Satzes auch ohne fremde Einwirkung spielbar ist. Der Rest muss ergänzt und orchestriert werden und kann nicht so aufgeführt werden, es ist unvollständig.
Was bedeutet es genau, ein Stück zu orchestrieren?
Ali Nikrang: Jedes Stück hat auch eine, wenn man so will, abstrakte musikalische Struktur, die den musikalischen Prozess in Form von harmonischen und melodischen Verläufen beschreibt. Die abstrakte Struktur kann dann durch eine weitere sehr mächtige Dimension erweitert werden, indem man die Musik für ein Ensemble mit verschiedenen Instrumenten bearbeitet. Mit einem großen Orchester hat man natürlich viele Möglichkeiten, zum Beispiel was Dynamic, also Lautstärkenunterschiede, betrifft und auch eine reiche Palette an Klangfarben. Gerade in der spätromantischen Musik spielt die Orchestrierung eine essentielle Rolle für die Dramaturgie der Musik.
Ihr habt also das unvollendete Stück von Mahler verwendet, um mit Künstlicher Intelligenz weiter zu komponieren?
Ali Nikrang: Wir haben das Thema von dem ersten Satz genommen. Es ist ein sehr ungewöhnliches und düsteres Thema… es beginnt fast unbemerkt, ohne Begleitung gespielt von den Bratschen. Wir nahmen dieses Thema, genauer gesagt die ersten 10 Töne, und wollten herausfinden, was ein KI-System aus so einem ungewöhnlichen Thema machen kann. Dazu benützten wir MuseNet von OpenAI, das das im Moment stärkste und leistungsfähigste KI-Modell in dem Bereich ist. Wir ließen das KI-System mehrere Stücke komponieren und haben anschließend eines ausgewählt, das sehr typisch für das KI-System war. Nachdem das Ergebnis der KI nur auf dem Klavier spielbar war, mussten wir es für das große Orchester bearbeiten.
Händisch?
Ali Nikrang: Genau, händisch. Allerdings habe ich mich sehr an das Original gehalten. Ich habe versucht, keine musikalisch relevanten Inhalte zu verändern und die Musik so zu interpretieren, dass sie zwar die großen Farbpalette des Orchesters benutzt, aber inhaltlich nicht verändert wird. Eigentlich genauso wie andere Komponisten oder Komponistinnen, die weitere Sätze von Mahler bearbeitet haben – sie wollten auch nichts Relevantes verändern, was der Meister skizziert hat, aber das Material trotzdem orchestrieren. In unserem Fall was der Meister die KI.
Credit: vog.photo
Was waren die Bedingungen, damit so ein Vorhaben stattfinden kann? Wie muss ein KI-generiertes Musikstück aussehen, damit es als Dirigent und für ein ganzes Orchester „spielbar“ wird?
Markus Poschner: Im Prinzip ist für uns natürlich erst einmal alles spielbar, solange sich das Werk über die Notation ausreichend vermitteln kann. Wir dürfen aber nicht vergessen, Noten sind immer lediglich nur Codes beziehungsweise Projektionsflächen, die wir Musiker mit Sinn füllen müssen – es geht also ums Verstehen und Deuten eines Textes. Diese wesentliche Frage bestimmt allen Ausdruck, Klang, ja eigentlich sämtliche musikalischen Parameter. Und die Situation jetzt ist natürlich vollkommen neu, da wir es mit einer Komposition eine Maschine zu tun haben.
Ali Nikrang: Gerade auf einem automatisch gesteuerten CEUS Klavier ist alles spielbar. Auch musikalisch war alles, was das KI-System ausgab, brauchbar. Es waren Stücke, die wir auf jeden Fall als Musik definieren würden, manche besser, manche schlechter. Das ist gar nicht selbstverständlich bei KI. Ich beschäftige mich ja seit Jahren mit dem Thema und hätte diese musikalische Qualität von einem KI-System noch im März in absehbare Zeit nicht für möglich gehalten. Auch nicht, dass einige Wochen später OpenAI ein Modell präsentiert, dass imstande ist, eine so qualitative Musik zu komponieren.
Das Interessante ist, dass sie eigentlich eine Technologie benutz haben, die zum Zweck des Textgenerierens zum Einsatz kommt. Sie haben das Modell, grob gesagt, mit Musik statt mit Text trainiert und das Model hat selbstständig gelernt, wie es Musik statt Text generiert. Lernen heißt in diesem Zusammenhang die Statistik von Daten zu modellieren um damit ähnliche Daten generieren zu können.
Ich würde sagen, dass das Output von MuseNet wirklich sehr überzeugend ist. Das heißt aber natürlich nicht, dass es jetzt schon perfekt ist. Und es heißt auch nicht, dass es wie Mahler klingt. Eine Mahler-Kennerin würde das natürlich sofort erkennen. Von der Ästhetik ist das Stück im spätromantischen Stil, die Zusammensetzung ist allerdings eher ungewöhnlich. Es kommen immer wieder neue Materialien hinzu, was damit zu tun hat, dass ein hierarchisches „Big View Thinking“ bei diesen Modellen noch fehlt, damit die einzelne Segmente nicht nur zusammen passen, sondern sich auch in einer übergeordneten Struktur zu einem richtungsvollen Ganzen zusammenschließen.
Wurde das KI-System denn mit den Stücken von Mahler trainiert?
Ali Nikrang: Es gibt leider keine Information über die genaue Zusammensetzung des Trainingsets. Das Modell wurde mit hunderttausenden Midi-files trainiert, daher ist es sehr wahrscheinlich, dass auch Stücke von Gustav Mahler dabei waren.
Herr Poschner, was halten Sie von dem Ergebnis der Arbeit des KI-Modells? Merkt man Unterschiede zu herkömmlich komponierten Stücken?
Markus Poschner: Das technische Niveau ist freilich frappierend, ich hätte so etwas nicht für möglich gehalten. Aber, wie gesagt, was bedeutet es? Was hat uns das Musikstück zu sagen? Wir spüren sofort eine große Unsicherheit: dürfen wir dabei etwas empfinden? Und wenn, dann was? Kann uns das Kunstwerk etwas sagen, etwas mitteilen?
KI-generierte Stücke schließlich mit einem ganzen Orchester aufzuführen, ist sicherlich (noch) nicht sehr verbreitet…
Ali Nikrang: Seit es Computer generierte Musik gibt, gibt es auch Versuche, diese mit Orchester aufzuführen. Ich bin allerdings überzeugt, dass es eine Orchesteraufführung in so einer musikalischen Qualität noch nie gegeben hat, weil es schlicht und einfach die Technologie dafür nicht vorhanden war. Dazu kommt, dass das Ganze im Rahmen der klassischen Musik und mit einem renommierten Orchester und Dirigenten stattfindet, was die musikalische Qualität der Aufführung enorm ersteigert. Eine weitere Besonderheit ist natürlich, dass hier die zehnte Sinfonie von Mahler als Basis genommen wird und neben dem KI-Stück auch aufgeführt wird. Daher ist das Ganze ganz sicher eine Weltpremiere.
Und schließlich, wie könnten KI-Modelle wie MuseNet in Zukunft in der Musik eingesetzt werden können?
Markus Poschner: Darauf kann ich nicht wirklich eine Antwort geben. Ich stelle mir aber vor, dass solche Systeme hervorragende Trainingspartner für junge Komponisten sein könnten, ähnlich wie Schachcomputer, da ja über ein schier unendliches statistisches Wissen verfügen. Wenn ich mir anschauen kann, wie Gustav Mahler an dieser oder jener Stelle rein statisch entschieden hätte, ist das doch sehr wertvoll.
Markus Poschner ist ein deutscher Dirigent. Er studierte an der Hochschule für Musik und Theater München. Von 2000 bis 2006 war er Chefdirigent des Georgischen Kammerorchesters Ingolstadt. Anschließend arbeitete er in der Komischen Oper Berlin, bei den Bremer Philharmonikern und dem Theater Bremen. Er ist regelmäßiger Gast der Münchner Philharmoniker und der Dresdner Philharmonie und hatte bereits Gastauftritte beim Gürzenich-Orchester Köln, den Bamberger Symphonikern, der Staatskapelle Halle, beim Bruckner Orchester Linz, beim Berliner Konzerthausorchester und mehr. Er ist außerdem begeisterter Jazz-Pianist. Ab Herbst 2017 ist Poschner neuer Chefdirigent des Bruckner Orchester Linz.
Ali Nikrang ist Senior Researcher & Artist im Ars Electronica Futurelab, wo er Mitglied der Forschungsgruppe Virtual Environments ist. Er studierte Computer Science an der Johannes Kepler Universität Linz und klassische Musik an der Universität Mozarteum Salzburg. Bevor er 2011 zu Ars Electronica wechselte, arbeitete er als Researcher beim Austrian Research Institut for Artificial Intelligence, wo er Erfahrungen im Bereich Serious Games und simulierte Welten sammelte.
Die Große Konzertnacht findet am Freitag, 6. September 2019, ab 20:00 Uhr in der Gleishalle der POSTCITY Linz statt. Mehr darüber erfährst Du auf unserer Programmwebseite oder in unserem Interview mit Gerfried Stocker, künstlerischer Leiter der Ars Electronica, und Norbert Trawöger, künstlerischer Leiter des Bruckner Orchester Linz.
Um mehr über Ars Electronica zu erfahren, folge uns auf Facebook, Twitter, Instagram und Co., abonniere unseren Newsletter und informiere dich auf https://ars.electronica.art/.