MuseNet ist ein Deep Neural Network (tiefes neuronales Netzwerk), das vierminütige Musikkompositionen mit zehn verschiedenen Instrumenten erzeugen kann und Stile von Country über Mozart bis hin zu den Beatles kombinieren kann. „MuseNet wurde nicht mit unserem Verständnis von Musik programmiert, sondern hat selbst Muster in Harmonie, Rhythmus und Stil entdeckt, indem es gelernt hat, das nächste Zeichen in hunderttausenden von MIDI-Dateien vorherzusagen“, schreiben die Entwickler von OpenAI über ihr Projekt. „MuseNet verwendet die gleiche unbeaufsichtigte Mehrzwecktechnologie wie GPT-2, ein groß angelegtes Transformatormodell, das darauf trainiert ist, das nächste Zeichen in einer Sequenz vorherzusagen, egal ob Audio oder Text.“
Die EntwicklerInnen wollen MuseNet gleichermaßen MusikerInnen und NichtmusikerInnen zur Verfügung stellen. Diesem Ansatz folgend haben wir MuseNet ausprobiert und die einzelnen Schritte für euch aufgeschrieben. Mit diesem Manual könnt ihr selbst MuseNet ausprobieren und euer erstes, eigenes Musikstück komponieren.
Wenn ihr mehr über MuseNet und Künstliche Intelligenz erfahren wollt, besucht doch unsere Themenwochen „Künstliche Intelligenz – Die Revolution hinter dem Hype“ noch bis 2. Februar im Ars Electronica Center. Hier könnt ihr nicht nur beim MuseNet Spezial (Open Sound Studio) mehr über das Komponieren von Musikstücken mithilfe von KI erfahren, sondern auch in ExpertInnengesprächen, Workshops und Deep-Space-Präsentationen tiefer in das Thema Künstliche Intelligenz eintauchen. Wer die Themenwochen verpasst hat, sollte einen Blick auf die neuen Ausstellungen und vor allem die Understanding AI Exhibition werfen, die sich voll und ganz der AI und ihren Auswirkungen auf uns als Gesellschaft verschrieben hat.
1. MuseNet öffnen
Zuerst öffnen wir MuseNet, via nachstehendem Link: https://openai.com/blog/musenet/. Was wie ein Blogbeitrag anmutet, ist zugleich eine Art Gebrauchsanleitung zu MuseNet und etwas versteckt aber auch das Programm selbst.
2. Der Simple Modus
Unter dem Punkt „Try MuseNet“ kann man gleich im standardmäßig angezeigten „Simple Mode“, im einfachen Modus loslegen: Hier kann man zahlreiche zufällige, unkurierte Samples, die vom Team vorgeneriert wurden, anhören. Die BenutzerIn kann KomponistIn oder Stil, einen optionalen Anfang eines berühmten Stückes, wählen und so mit der Generierung beginnen. Wir haben uns dafür entschieden, Musik im „Style“ (Stil) von Mozart anzuhören, „starting with“ Adele’s Someone Like You (beginnend mit dem Intro von Adele).
MuseNet wirft dann zum Beispiel folgende drei Varianten (in gekürzter Fassung) aus:
3. Komponieren im erweiterten Modus
Im erweiterten Modus („Advanced Settings“) kannst du direkt mit dem Modell interagieren und deine neuen, völlig eigenen Stücke generieren. Die Fertigstellung dauert zwar ein bisschen länger, aber in weniger als einer Minute kann das Programm immerhin ein vierminütiges Musikstück komponieren.
MuseNet wirft vier Alternativen aus. Wenn diese nicht gefallen, kann man auf „reset“ beziehungsweise aktualisieren klicken, um neue Varianten zu erzeugen.
In den erweiterten Einstellungen ist es möglich, nicht nur die Instrumente zu wählen, die MuseNet verwenden soll, sondern auch die Anzahl der „Tokens“, der Zeichen, zu verändern.
Wir haben sie zunächst von den voreingestellten 225 Tokens auf 400 geändert. Das klingt dann zum Beispiel so:
Jetzt spielen wir mit dem Klang unseres Musikstücks, indem wir die Instrumente verändern, und zu Piano, „Strings“ (Streichinstrumente), „Drums“ (Schlagzeug) und Bass hinzunehmen.
Hier zeigt sich eine Einschränkung von MuseNet: Die Instrumente, die man sich wünscht, sind lediglich Vorschläge, keine Anforderungen. MuseNet generiert jede Note durch Berechnung der Wahrscheinlichkeiten aller möglichen Noten und Instrumente. Das Modell verschiebt sich zwar, um meine Instrumentenwahl wahrscheinlicher zu machen, aber es besteht immer die Chance, dass es etwas anderes wählt.
In unserem Fall findet MuseNet die Paarung aus Mozart, Adele und unseren gewählten Instrumenten nicht so passend und entscheidet sich, nur mit Piano zu komponieren.
Wir wollen aber eine Variante mit mehreren Instrumenten ausprobieren und ändern daher den Stil von Mozart auf zum Beispiel die Beatles, bei denen Instrumente wie Gitarre oder Bass tatsächlich vorkommen. Wir wählen also Bass, Piano, Drums und Guitar aus und sehen, was passiert:
4. Download der Komposition
Wenn man mit einer erzeugten Variante zufrieden ist und nichts weiter verändern will, kann man das Stück downloaden. Will ich das Musikstück einfach für meinen persönlichen Gebrauch abspeichern, wähle ich das Mp3-Format aus.
Für MusikerInnen oder solche, die es noch werden wollen, kann ich die Datei aber auch als MIDI-Datei (Musical Instrument Digital Interface, kurz: MIDI ist ein Industriestandard für den Austausch musikalischer Steuerinformationen zwischen elektronischen Instrumenten, wie z. B. Keyboards oder Synthesizern) speichern, um zum Beispiel in einem Programm wie MuseScore selbst weiter zu komponieren. Mithilfe dieses Opensource-Programms kann ich Notenblätter erstellen oder verändern und so wie ein Profi Kompositionen kreieren.
5. Mit eigenen Melodien komponieren
Fortgeschrittene können schließlich auch eigene Melodien oder urheberrechtsfreie Melodien als MIDI Datei hochladen und damit weiterarbeiten, das heißt als Intro verwenden.
Anmerkungen
Ein paar Anmerkungen noch zu MuseNet: Ein paar Einschränkungen haben wir bereits erwähnt. Wir haben außerdem das Gefühl, dass Klassik möglicherweise besser funktioniert als Pop, weil MuseNet mit sehr vielen Daten der klassischen Musik gefüttert wurde. Piano funktioniert ebenfalls tendenziell besser, beziehungsweise wird öfter verwendet als andere Instrumente.
Außerdem, so OpenAI selbst, hat es MuseNet schwieriger mit ungewöhnlichen Paarungen von Stilen und Instrumenten (wie etwa Chopin mit Bass und Schlagzeug). Die erzeugten Werke werden natürlicher, wenn man Instrumente wählt, die dem üblichen Stil des Komponisten oder der Band am nächsten kommen.
Wir wünschen viel Spaß beim Ausprobieren!
Wem die Kompositionen von MuseNet gefallen haben, dem möchten wir noch folgendes Video ans Herz legen: MuseNet spielte am 25. April 2019 ein experimentelles Konzert, das auf dem Twitch-Kanal von OpenAI livegestreamed wurde und bei dem niemand die Stücke zuvor gehört hatte. Das ganze Konzert kann man auf Twitch oder Youtube nachhören:
Selbstfahrende Autos trainieren, mithilfe von KI-Algorithmen Musik produzieren, einen Computerflügel erleben, der von menschlichen PianistInnen gespielte Stücke aufnehmen und präzise reproduzieren kann oder mehr über ein neuronales Netzwerk erfahren, das Musik á la Beatles komponiert. Von 14. Jänner bis 2. Februar 2020 widmet sich das Ars Electronica Center mit ExpertInnengesprächen, speziellen Führungen, Workshops und Deep-Space-Präsentationen dem Thema „Künstliche Intelligenz – die Revolution hinter dem Hype“. Das ganze Programm: https://ars.electronica.art/center/de/theme-artificial-intelligence/
Um mehr über Ars Electronica zu erfahren, folgen Sie uns auf Facebook, Twitter, Instagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.