Computers that Learn to Listen

Institute of Computational Perception, Johannes Kepler University (JKU) Linz (AT)

POSTCITY

AI x Music Research at the Institute of Computational Perception, Johannes Kepler University (JKU) Linz

Das Video zeigt einige Ergebnisse der wissenschaftlichen Forschung auf dem Gebiet der KI und Musik des Instituts für Computational Perception der Johannes Kepler Universität Linz. Basierend auf den neuesten Fortschritten im Machine Learning lernen unsere Computer, Musik zu „hören“ und zu „verstehen“, Takt und Rhythmus zu erkennen, Musikstücke aus wenigen gespielten Noten sofort zu identifizieren, Pianisten und Pianistinnen sowie ganzen Orchestern live im Konzertsaal zu folgen und zu lernen, Musik direkt aus Bilddateien zu lesen. Es werden Demos von autonomen Trommelrobotern und anderen musikalischen Begleitern, die etwa Musikseiten für Pianisten und Pianistinnen umblättern, synchronisierte Partituren für das Konzertpublikum liefern und Solisten wie Solistinnen begleiten, gezeigt. In einem abschließenden Video verwenden wir ein MIDI-Theremin, um in Echtzeit expressive Aspekte einer Klavierperformance zu steuern.

 

Projekt Credits:

  • The scientific research behind these demonstrations was supported by the Austrian Science Fund (FWF) in the form of a Wittgenstein Prize (2009) to Gerhard Widmer, by the European Union (7th Framework Program, project 601166 “PHENICX”), and by the European Research Council ERC (Horizon 2020 Program, ERC Advanced Grant project 670035 “Con Espressione”).

Biografie:

The Institute of Computational Perception at JKU Linz is one of the leading research groups worldwide in the fields of AI & Music and computational listening. Its director, Gerhard Widmer, has been awarded Austria’s highest research awards (START Prize 1998 and Wittgenstein Prize 2009), and currently holds an ERC Advanced Grant for research on computational models of expressivity in music.
http://www.cp.jku.at
http://www.cp.jku.at/people/widmer