Melody of Crisis/Joy

Gregor Pechmann (AT), Floria Rothkegel (AT), Markus Schedl (AT), Alexander Wallner (AT), Emilia Parada-Cabaleiro (ES), Vasco Fragoso (PT)

| | |

Melody of Crisis/Joy ist ein interdisziplinäres Projekt, das darauf abzielt, Künstliche Intelligenz in einem künstlerischen Rahmen zu nutzen. Um das Bewusstsein dafür zu schärfen, wie globale Krisenereignisse online kommuniziert werden, werden Emotionen, die durch gesprochene Äußerungen vermittelt werden, mittels Stimmungsanalyse und Sprachemotionserkennung identifiziert und dann in musikalische Melodien transformiert. Für die Umwandlung werden Aufnahmen verschiedener Musikerinnen verwendet, die positive und negative Emotionen zum Ausdruck bringen, um zwei maschinelle Lernmodelle zu trainieren, die in der Lage sind, positive / negative Aussagen in Krisen- bzw. Freudenmelodien zu vertonen. Beim Betreten der Installation wird eine interaktive audiovisuelle Weltkarte präsentiert, auf der Länder ausgewählt werden können, um die entsprechenden Melodien zu hören, und die Besucherinnen werden aufgefordert, die Art der Melodie (Krise / Freude) zu erraten. Anschließend wird die echte Aussage mit Untertiteln wiedergegeben. Die Besucher*innen sind auch eingeladen, mit einer intelligenten musikalischen Skulptur zu interagieren, die ihre Stimmen in Echtzeit wiedergeben kann.

Biographies

Gregor Pechmann (Social Media Manager at the University Communications Department) together with Emilia Parada-Cabaleiro and Markus Schedl (Institute for Computation Perception and Human-Centered AI Group) created (with the support of JKU AI Students Alexander Wallner, Florian Rothkegel, and Vasco Fragoso) an immersive experience of the global sentiment shared in social media towards crisis events.

Credits

Johannes Kepler University Linz (Antonia Ebner, Vasco Fragoso, Emilia Parada-Cabaleiro, Gregor Pechmann, Martin Reiter, Florian Rothkegel, Theresa Rubenzucker, Markus Schedl, Alexander Wallner); Musicians from the Anton Bruckner Private University (Ivan Bykov, Johanna Dömötör, Anna Maria Dörfler, Bernhard Hadriga, Matthias Kronsteiner); Land Oberösterreich