KI, Musik und die Veränderung des Publikums

Hugues Vinet, Leiter der Forschungsaktivitäten bei IRCAM, hat uns im Interview erzählt, wie das das weltweit größe Forschungszentrum, das sich sowohl dem musikalischen Ausdruck wie auch der wissenschaftlichen Forschung widmet, arbeitet, warum KI gesellschaftliche Relevanz hat und welche Rolle er und sein Team beim Festival spielen werden.

| | |

IRCAM, das weltweit größe Forschungszentrum, das sich sowohl dem musikalischen Ausdruck wie auch der wissenschaftlichen Forschung widmet, ist Partner des Ars Electronica Festivals 2019. Außerdem ist die Institution im Rahmen der STARTS Initiative als Koordinator der STARTS Residencies involviert und wird über diese Aktivitäten beim STARTS Day berichten. Hugues Vinet, Leiter der Forschungsaktivitäten bei IRCAM, hat uns im Interview erzählt, wie das Institut arbeitet, warum KI gesellschaftliche Relevanz hat und welche Rolle er und sein Team beim Festival spielen werden.

IRCAM ist das weltweit größte öffentliche Forschungszentrum, das sich sowohl dem musikalischen Ausdruck als auch der wissenschaftlichen Forschung widmet. Können Sie uns ein wenig über Ihre Arbeit und Forschung, Ihre Institution, erzählen?

Hugues Vinet: Mein Hintergrund liegt in der Signalverarbeitung. Ich habe seit Mitte der 1980er Jahre bei der Musical Research Group (GRM) in Paris an den ersten Echtzeit-Audio-Workstations gearbeitet und die frühen Versionen des GRM Tools-Produktes entworfen, mit dem kreative Audioverarbeitungswerkzeuge auf PCs weithin verfügbar gemacht wurden. 1994 wurde ich dann beauftragt, die R&D-Aktivitäten von IRCAM zu leiten.

IRCAM wurde 1977 von Pierre Boulez im Rahmen des Projekts Centre Pompidou gegründet. Ende der 1970er Jahre hatte Boulez die Vision, dass die Erneuerung der zeitgenössischen Musik durch Wissenschaft und Technologie erreicht werden sollte: Es trieb die Gründung des IRCAM als bahnbrechende kunstwissenschaftliche Institution voran, die WissenschaftlerInnen, IngenieurInnen und MusikerInnen zu ihrem gegenseitigen Nutzen versammelt. Da wir den 40. Geburtstag der Ars Electronica feiern, ist die Nähe der Gründungsdaten beider Institutionen erstaunlich…..

IRCAM hat sich seitdem stark weiterentwickelt. Ab 1995 habe ich gemeinsam mit dem Komponisten und Musikwissenschaftler Hugues Dufourt ein gemeinsames Labor am IRCAM mit einigen der wichtigsten akademischen Institutionen in Frankreich – CNRS, dann Sorbonne Université, derzeit STMS for Science and Technology of Music and Sound – finanziert. 150 Forschende und IngenieurInnen sind an einem breiten Spektrum wissenschaftlicher Disziplinen beteiligt – Signalverarbeitung, Informatik, Akustik, menschliche Wahrnehmung und Kognition, Musikwissenschaft…. Das Hauptziel ist es, die zeitgenössische künstlerische Produktion mit neuer Technologie zu unterstützen – 30 Werke, vor allem in der darstellenden Kunst, entstehen jedes Jahr in Zusammenarbeit mit einigen der größten KomponistInnen und InterpretInnen und werden an verschiedenen Orten realisiert, darunter im Juni beim jährlichen IRCAM ManiFeste Festival.

Luna Park: This piece by composer Georges Aperghis uses various IRCAM technologies including virtual percussions based on gesture recognition and mapping to pre-recorded sounds, Credit: Sylvia Gomes

Wie ist Ihre Forschung mit dem Thema KI verbunden, welche Rolle spielt die Künstliche Intelligenz?

Hugues Vinet: Die Forschung im Bereich KI begann Mitte der 1980er Jahre am IRCAM mit der Entwicklung von regelbasierten Systemen für die Klangsynthese (Formes) und von LISP-basierten computergestützten Kompositionsumgebungen (PatchWork, dann OpenMusic). Basierend auf der symbolischen Modellierung musikalischer Strukturen haben die beiden für mehrere Generationen von KomponistInnen und MusikwissenschaftlerInnen hochrangige und visuelle Programmierparadigmen für die algorithmische Generierung und Analyse musikalischer Materialien entwickelt. Neuere Forschungsarbeiten umfassen die computergestützte Orchestrierung auf der Grundlage von Instrumenten-Sample-Datenbanken.

Ein weiteres wichtiges Forschungsthema in der KI ist das Music Information Retrieval, das darauf abzielt, relevante Metadaten aus Hörproben und Musikaufnahmen zu extrahieren. IRCAM koordinierte die ersten verwandten EU-Projekte und entwickelte durch verschiedene Kooperationen mit industriellen Akteuren führende MIR-Forschung und -Technologie.

Parallel dazu wurden maschinelle Lerntechniken auf den Einsatz von Computern in Live-Situationen angewendet: Echtzeit-Computer/Performersynchronisation für gemischte Stücke (Partitur folgt), Gestenerkennung für das Design neuer Instrumente und für interaktiven Tanz. Als weiterer Schritt wurden Systeme zur Human/Computer-Koimprovisation und Ko-Kreativität (OMax und DYCI2) entwickelt.

Seit mehreren Jahren führt die Verfügbarkeit von Deep Learning über die klassischen Modellierungstechniken hinaus zu einer tiefgreifenden Neuausrichtung der Forschung, insbesondere in der Audioanalyse und -synthese. Deep Learning bietet KünstlerInnen auch radikal neue Möglichkeiten der Repräsentation, Manipulation und Generierung von Musikmaterial, die derzeit in verschiedene Richtungen erforscht werden.

Lullaby Experience: Use of DYCI2 by Jérôme Nika for the piece Lullaby Experience by composer Pascal Dusapin, Credit: Quentin Chevrier

Ist KI und Musik ein Thema, das nur die Wissenschaft betrifft, oder wird es die Gesellschaft in Zukunft betreffen, und zwar nicht nur als Publikum?

Hugues Vinet: In der Tat. Der Begriff des Publikums entwickelt sich weiter und Technologien für massive partizipative musikalische Situationen mit mehreren NutzerInnen, die auf Smartphones basieren, sind bereits vorhanden. Da die KI komplexes implizites Wissen erfassen kann, werden Barrieren zwischen dem Hören und der Produktion hochwertiger Musik für Nicht-MusikerInnen eher verschwinden und nutzergenerierte Inhalte auf ein neues Niveau heben.

IRCAM spielt eine wichtige Rolle beim AIxMusic Festival. Was ist Ihr Interesse an einer Zusammenarbeit mit einem solchen Festival?

Hugues Vinet: Dieses Festival bietet eine neue Gelegenheit in Europa, wichtige Persönlichkeiten der Branche wie ForscherInnen, KünstlerInnen, Unternehmen und politische EntscheidungsträgerInnen zu treffen, und wir sind sehr interessiert an einer Teilnahme. Das Ars Electronica Festival ist eine fantastische Veranstaltung, deren Teilnahme immer wieder anregend ist.

Cosima: collective musical interaction on smartphones based on gesture/sound mapping and real-time web audio sound synthesis, Credit: IRCAM

Können Sie uns bitte erklären, in welchen Formaten Sie teilnehmen?

Hugues Vinet: 7 Personen in Verbindung mit IRCAM sind an den verschiedenen Veranstaltungen beteiligt, darunter ein Workshop am Freitag, die improvisierte Performance C’est pour ça am Samstagnachmittag, eine Reihe von Konferenzen am Sonntagmorgen zum AIxMusic Day und Demos im Ausstellungsraum.

Hugues Vinet ist Direktor für Innovation und Forschungsmittel bei IRCAM und leitet seit 1994 alle Forschungs-, Entwicklungs- und Technologietransferaktivitäten bei IRCAM (150 Personen). Er hat viele gemeinsame F&E-Projekte geleitet und ist derzeit Koordinator des STARTS Residencies Programms. Er kuratiert auch das jährliche Symposium des Vertigo Forum Kunst-Wissenschaften im Centre Pompidou. Er ist Mitglied in verschiedenen Expertengremien in den Bereichen Audio, Musik, Multimedia, Informationstechnologie und technologische Innovation.

 

IRCAM ist Teil des AIxMusic Festivals, das im Rahmen des Ars Electronica Festivals von 5. bis 9. September stattfindet. Mehr erfahren Sie auf unserer Webseite.

Um mehr über Ars Electronica zu erfahren, folgen Sie uns auf FacebookTwitterInstagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.