KI, Musik und die Veränderung des Publikums

WEB_ScoreFollowing_©Inria, ScoreFollowing : live computer synchronisation to saxophonist Claude Delangle for piece « …of silence » by composer Marco Stroppa using the Antescofo score following system, Credit: Inria

IRCAM, das weltweit grĂ¶ĂŸe Forschungszentrum, das sich sowohl dem musikalischen Ausdruck wie auch der wissenschaftlichen Forschung widmet, ist Partner des Ars Electronica Festivals 2019. AuĂŸerdem ist die Institution im Rahmen der STARTS Initiative als Koordinator der STARTS Residencies involviert und wird Ă¼ber diese Aktivitäten beim STARTS Day berichten. Hugues Vinet, Leiter der Forschungsaktivitäten bei IRCAM, hat uns im Interview erzählt, wie das Institut arbeitet, warum KI gesellschaftliche Relevanz hat und welche Rolle er und sein Team beim Festival spielen werden.

IRCAM ist das weltweit grĂ¶ĂŸte öffentliche Forschungszentrum, das sich sowohl dem musikalischen Ausdruck als auch der wissenschaftlichen Forschung widmet. Können Sie uns ein wenig Ă¼ber Ihre Arbeit und Forschung, Ihre Institution, erzählen?

Hugues Vinet: Mein Hintergrund liegt in der Signalverarbeitung. Ich habe seit Mitte der 1980er Jahre bei der Musical Research Group (GRM) in Paris an den ersten Echtzeit-Audio-Workstations gearbeitet und die frĂ¼hen Versionen des GRM Tools-Produktes entworfen, mit dem kreative Audioverarbeitungswerkzeuge auf PCs weithin verfĂ¼gbar gemacht wurden. 1994 wurde ich dann beauftragt, die R&D-Aktivitäten von IRCAM zu leiten.

IRCAM wurde 1977 von Pierre Boulez im Rahmen des Projekts Centre Pompidou gegrĂ¼ndet. Ende der 1970er Jahre hatte Boulez die Vision, dass die Erneuerung der zeitgenössischen Musik durch Wissenschaft und Technologie erreicht werden sollte: Es trieb die GrĂ¼ndung des IRCAM als bahnbrechende kunstwissenschaftliche Institution voran, die WissenschaftlerInnen, IngenieurInnen und MusikerInnen zu ihrem gegenseitigen Nutzen versammelt. Da wir den 40. Geburtstag der Ars Electronica feiern, ist die Nähe der GrĂ¼ndungsdaten beider Institutionen erstaunlich…..

IRCAM hat sich seitdem stark weiterentwickelt. Ab 1995 habe ich gemeinsam mit dem Komponisten und Musikwissenschaftler Hugues Dufourt ein gemeinsames Labor am IRCAM mit einigen der wichtigsten akademischen Institutionen in Frankreich – CNRS, dann Sorbonne UniversitĂ©, derzeit STMS for Science and Technology of Music and Sound – finanziert. 150 Forschende und IngenieurInnen sind an einem breiten Spektrum wissenschaftlicher Disziplinen beteiligt – Signalverarbeitung, Informatik, Akustik, menschliche Wahrnehmung und Kognition, Musikwissenschaft…. Das Hauptziel ist es, die zeitgenössische kĂ¼nstlerische Produktion mit neuer Technologie zu unterstĂ¼tzen – 30 Werke, vor allem in der darstellenden Kunst, entstehen jedes Jahr in Zusammenarbeit mit einigen der grĂ¶ĂŸten KomponistInnen und InterpretInnen und werden an verschiedenen Orten realisiert, darunter im Juni beim jährlichen IRCAM ManiFeste Festival.

Luna Park: This piece by composer Georges Aperghis uses various IRCAM technologies including virtual percussions based on gesture recognition and mapping to pre-recorded sounds, Credit: Sylvia Gomes

Wie ist Ihre Forschung mit dem Thema KI verbunden, welche Rolle spielt die KĂ¼nstliche Intelligenz?

Hugues Vinet: Die Forschung im Bereich KI begann Mitte der 1980er Jahre am IRCAM mit der Entwicklung von regelbasierten Systemen fĂ¼r die Klangsynthese (Formes) und von LISP-basierten computergestĂ¼tzten Kompositionsumgebungen (PatchWork, dann OpenMusic). Basierend auf der symbolischen Modellierung musikalischer Strukturen haben die beiden fĂ¼r mehrere Generationen von KomponistInnen und MusikwissenschaftlerInnen hochrangige und visuelle Programmierparadigmen fĂ¼r die algorithmische Generierung und Analyse musikalischer Materialien entwickelt. Neuere Forschungsarbeiten umfassen die computergestĂ¼tzte Orchestrierung auf der Grundlage von Instrumenten-Sample-Datenbanken.

Ein weiteres wichtiges Forschungsthema in der KI ist das Music Information Retrieval, das darauf abzielt, relevante Metadaten aus Hörproben und Musikaufnahmen zu extrahieren. IRCAM koordinierte die ersten verwandten EU-Projekte und entwickelte durch verschiedene Kooperationen mit industriellen Akteuren fĂ¼hrende MIR-Forschung und -Technologie.

Parallel dazu wurden maschinelle Lerntechniken auf den Einsatz von Computern in Live-Situationen angewendet: Echtzeit-Computer/Performersynchronisation fĂ¼r gemischte StĂ¼cke (Partitur folgt), Gestenerkennung fĂ¼r das Design neuer Instrumente und fĂ¼r interaktiven Tanz. Als weiterer Schritt wurden Systeme zur Human/Computer-Koimprovisation und Ko-Kreativität (OMax und DYCI2) entwickelt.

Seit mehreren Jahren fĂ¼hrt die VerfĂ¼gbarkeit von Deep Learning Ă¼ber die klassischen Modellierungstechniken hinaus zu einer tiefgreifenden Neuausrichtung der Forschung, insbesondere in der Audioanalyse und -synthese. Deep Learning bietet KĂ¼nstlerInnen auch radikal neue Möglichkeiten der Repräsentation, Manipulation und Generierung von Musikmaterial, die derzeit in verschiedene Richtungen erforscht werden.

Lullaby Experience: Use of DYCI2 by JĂ©rĂ´me Nika for the piece Lullaby Experience by composer Pascal Dusapin, Credit: Quentin Chevrier

Ist KI und Musik ein Thema, das nur die Wissenschaft betrifft, oder wird es die Gesellschaft in Zukunft betreffen, und zwar nicht nur als Publikum?

Hugues Vinet: In der Tat. Der Begriff des Publikums entwickelt sich weiter und Technologien fĂ¼r massive partizipative musikalische Situationen mit mehreren NutzerInnen, die auf Smartphones basieren, sind bereits vorhanden. Da die KI komplexes implizites Wissen erfassen kann, werden Barrieren zwischen dem Hören und der Produktion hochwertiger Musik fĂ¼r Nicht-MusikerInnen eher verschwinden und nutzergenerierte Inhalte auf ein neues Niveau heben.

IRCAM spielt eine wichtige Rolle beim AIxMusic Festival. Was ist Ihr Interesse an einer Zusammenarbeit mit einem solchen Festival?

Hugues Vinet: Dieses Festival bietet eine neue Gelegenheit in Europa, wichtige Persönlichkeiten der Branche wie ForscherInnen, KĂ¼nstlerInnen, Unternehmen und politische EntscheidungsträgerInnen zu treffen, und wir sind sehr interessiert an einer Teilnahme. Das Ars Electronica Festival ist eine fantastische Veranstaltung, deren Teilnahme immer wieder anregend ist.

Cosima: collective musical interaction on smartphones based on gesture/sound mapping and real-time web audio sound synthesis, Credit: IRCAM

Können Sie uns bitte erklären, in welchen Formaten Sie teilnehmen?

Hugues Vinet: 7 Personen in Verbindung mit IRCAM sind an den verschiedenen Veranstaltungen beteiligt, darunter ein Workshop am Freitag, die improvisierte Performance C’est pour ça am Samstagnachmittag, eine Reihe von Konferenzen am Sonntagmorgen zum AIxMusic Day und Demos im Ausstellungsraum.

Hugues Vinet ist Direktor fĂ¼r Innovation und Forschungsmittel bei IRCAM und leitet seit 1994 alle Forschungs-, Entwicklungs- und Technologietransferaktivitäten bei IRCAM (150 Personen). Er hat viele gemeinsame F&E-Projekte geleitet und ist derzeit Koordinator des STARTS Residencies Programms. Er kuratiert auch das jährliche Symposium des Vertigo Forum Kunst-Wissenschaften im Centre Pompidou. Er ist Mitglied in verschiedenen Expertengremien in den Bereichen Audio, Musik, Multimedia, Informationstechnologie und technologische Innovation.

IRCAM ist Teil des AIxMusic Festivals, das im Rahmen des Ars Electronica Festivals von 5. bis 9. September stattfindet. Mehr erfahren Sie auf unserer Webseite.

Um mehr Ă¼ber Ars Electronica zu erfahren, folgen Sie uns auf FacebookTwitterInstagram und Co., abonnieren Sie unseren Newsletter und informieren Sie sich auf https://ars.electronica.art/.

, , , , ,