LIT

Music Tower Blocks (EmoMTB)

Markus Schedl (AT) Florian Fritzl (AT) Franz Schubert (AT) Alessandro B. Melchiorre (IT) Oleg Lesota (RU) Emilia Parada-Cabaleiro (ES) Vasco B. R. Fragoso (PT) David Penz (AT), Christian Ganhör (AT)

| | |

Linz, In Kepler's Gardens

Emotion-Aware Music Recommendation and Exploration

EmoMTB ist eine audiovisuelle BenutzerInnenschnittstelle zur Erkundung großer Musiksammlungen. Sie arbeitet mit der Metapher einer Stadt, in der ähnliche Lieder zu Gebäuden zusammengefasst werden. Benachbarte Gebäude bilden Bezirke ähnlicher Musikstile. BenutzerInnen können sich in dieser Stadt bewegen und dabei unterschiedliche Musikrichtungen erkunden – innerhalb ihrer Präferenzen aber auch jenseits ihrer Komfortzone. Gleichzeitig analysiert die zugrunde liegende KI nutzergenerierte Texte, um Emotionen vorherzusagen. Darauf basierend adaptiert EmoMTB die audiovisuellen Elemente des Interfaces. EmoMTB passt die Ergebnisse eines Algorithmus für Musikempfehlungen an den emotionalen Zustand der BenutzerIn an und erschließt dadurch neuartige Möglichkeiten, Musik zu entdecken. Zusätzlich möchten wir mit EmoMTB eine Diskussion über die Fähigkeiten heutiger KI-Technologie anregen, etwa persönliche Informationen wie Gefühle oder Persönlichkeitsmerkmale aus dem digitalen Fußabdruck einer Person vorherzusagen.

M. Schedl: M. Schedl is a professor at JKU Linz and LIT, leading the Multimedia Mining and Search (MMS) and the Human-Centered AI (HCAI) groups.

E. Parada-Cabaleiro: E. Parada-Cabaleiro is a postdoc researcher at JKU.

A. B. Melchiorre & O. Lesota: A. B. Melchiorre and O. Lesota are PhD students at JKU.

D. Penz: D. Penz is a PhD student at JKU and TU Wien.

F. Fritzl: F. Fritzl is a Master’s student at FH Salzburg.

V. Fragoso & C. Ganhör: V. Fragoso and C. Ganhör are student research assistants at JKU.

F. Schubert: F. Schubert is a senior lecturer at the University of Applied Arts Vienna and the FH St. Pölten.

Credits

EmoMTB received financial support from the Linz Institute of Technology (LIT). We would also like to thank Michael Mayr and Peter Knees for their contributions to the first version of the prototype system, and to Antonia Ebner and Stefan Brandl for providing technical support.