Expanded Animation

Expanded Animation: Synaesthetic Syntax

Sonntag, 13. September 2020, 11:15 - 11:45
Sonntag, 13. September 2020, 12:10 - 13:40
Sonntag, 13. September 2020, 15:05 - 16:30
Sonntag, 13. September 2020, 17:05 - 18:30
Alle Termine werden in der Mitteleuropäischen Zeit (MEZ / UTC+1) angegeben.
Online
EN
Event on 13.09. from 11:15 to 11:45 live on Ars Electronica Selection channel (online)
All other events live on partner channel (online)

In Zusammenarbeit mit der University for the Creative Arts, Farnham, untersucht das Symposium die Wechselwirkungen zwischen Animation und Ton aus wissenschaftlicher Perspektive. ForscherInnen und KünstlerInnen wurden gebeten, Beiträge zum Thema Synaesthetic Syntax einzureichen: Sound Animation/Audio Visualisierung. Den Auftakt dieser wissenschaftlich/künstlerischen Untersuchung macht die Medienkünstlerin Rose Bond, die Einblicke in ihre künstlerische Arbeit im öffentlichen Raum gibt, gefolgt von Podiumsdiskussionen zu den Themen „Hearing Color Seeing Sound „, „In Front of Your Eyes and Ears“ und „The Kinaesthetics of Music and Vision“.

Rose Bond

Watch Livestream

Synaesthetic Syntax – Keynote: Sounding Together – Choreographing the Unpredictable

Angesichts des Themas „Synaesthetic Syntax: Sounding Animation – Visualizing Sound“ wird sich diese Keynote mit der synästhetischen Paarung von Animation und Musik befassen. Rose Bond wird einen kursorischen Blick auf die experimentelle Kopplung von Klangvokabular und abstrakter Animation in Werken von Hans Richter und Viking Eggeling werfen, einen Sprung in Stan VanDerBeek’s erweitertes Kinozeitalter in den 60er und 70er Jahren machen und dann drei Beispiele für Klang-/Seh-Kollaborationen mit Sinfonien des 21.Jahrhunderts vorstellen. Ihr Ziel ist es, Fragen aufzuwerfen und einige Vorstellungen über die „experimentelle“ und politische Natur des erweiterten Kinos zu entwickeln. Die zweite Hälfte dieses Vortrags wird sich mit der „Syntax“ befassen, d.h. mit Strukturen und geordneten Anordnungen in dem, was sie gerne als visuelle Choreografie der animierten Mehrbildprojektion bezeichnet. Rose Bond wird sich auf eine neue Arbeit für Luciano Berios Sinfonia konzentrieren, die am 14. März 2020 uraufgeführt werden sollte. Zwei Tage vor der Eröffnung waren Versammlungen von mehr als 250 Personen verboten. Während dieser Keynote werden zum ersten Mal Auszüge aus ihrer Animation öffentlich gezeigt.

Vicky Smith
Synaesthetic Syntax – Expanded Cinema and Para Animation: More than Audio and Visual

Das Kino kommuniziert über das Audiovisuelle und das Visuelle und nutzt oder untersucht selten die Möglichkeit, über diese doppelte Sinnesbeziehung hinaus zu erscheinen. Dieser Vortrag schlägt vor, dass in vielen Werken des erweiterten und experimentellen Kinos die Wahrnehmungsüberschreitung die beiden entfernteren Sinne Sehen und Hören übersteigt, um die Nähe des Tastsinns zu erfassen, und dieser dritte Sinn ist auch für die Synästhesie im Kino von zentraler Bedeutung. Schall wird durch Vibrationen empfangen, die mit den Membranen im Ohr in Kontakt kommen, und in dieser Hinsicht ist es der Tastsinn, der uns das Hören ermöglicht. Bestimmte Werke des Expanded Cinema setzen Technologien der Klangwiedergabe so ein, dass sie den ganzen Körper als Hörorgan stimulieren. Hier wird die Haptik wird als Mittel vorgeschlagen, um ein Überdenken der Beziehungen zwischen den Sinnen anzuregen und neue Lesarten des Expanded Cinema zu eröffnen.

Alexander Stublić
Synaesthetic Syntax – Presence and Interaction in Synaesthetic Space

In diesem 20-minütigen Vortrag wird Alexander das interaktive VR-Projekt „Innerland“ vorstellen, das sich zwischen Synästhesie und einer mehrperspektivischen Erzählung bewegt. Das Kunstprojekt basiert auf dem Klavierkonzert Opus 25 von Viktor Ullmann (1898-1944). Es besteht aus einer technisch komplexen Neuaufnahme des Klavierkonzerts in 3D-Klang und einer VR-Medienkunstinstallation. In der interaktiven Installation „Innerland“ werden genreübergreifende Film- und Tonaufnahmen, die während der 3D-Musikproduktion entstanden sind, zu traumhaften Szenen kombiniert. Mit der freien Wahl der Perspektive in VR entsteht eine alternative räumliche Erzählung. ZuschauerInnen entscheidet selbst, wie sie die Performance erleben möchten.

Sama Mara
Synaesthetic Syntax – A Hidden Order – Revealing Connections Between Geometry and Music Through Harmony and Mathematics

A Hidden Order ist ein preisgekröntes Projekt, das die Beziehung zwischen Musik und bildender Kunst erforscht. Das Projekt wurde auf der ganzen Welt gezeigt, unter anderem in der Saatchi Gallery London, auf der Abu Dhabi Art Fair, in Istanbul, Miami, Seoul, in der Athr Gallery in Jeddah, Saudi-Arabien, und im Aga Khan Museum in Toronto. Im Mittelpunkt dieses Projekts steht Sama Maras bahnbrechende Methode, die direkt zwischen Musik und bildender Kunst übersetzt. Das System offenbart eine eins-zu-eins-Korrespondenz zwischen Rhythmus und Muster, und Musiknoten werden in Farbe übersetzt. Möglich wird dies durch den Rückgriff auf die mathematischen Grundlagen, die sowohl der Musik als auch den Mustern zugrunde liegen, und durch die Anwendung geometrischer Prinzipien, die in der traditionellen islamischen Kunst und in modernen mathematischen Bereichen zu finden sind, einschließlich fraktaler Geometrie und aperiodischer Kachelung. Die verwendetet Methode ermöglicht eine Echtzeit-Übersetzung von Musik in bildende Kunst für Live-Aufführungen, Animationen, eine interaktive Plattform bis hin zu hochwertigen Digitaldrucken. Die Rückübersetzung von der bildenden Kunst in die Musik erfolgte von Hand und war ein Kernstück des kreativen Prozesses, der 2014 zu der in Zusammenarbeit mit dem Komponisten Lee Westwood entstandenen Erstaufführung von A Hidden Order führte. Für Expanded Animation 2020 stellt Sama Mara die Kernaspekte der Methode vor, die im Mittelpunkt des Projekts A Hidden Order steht.

Giusy Caruso, Bavo Van Kerrebroeck & Pieter Jan Maes
Synaesthetic Syntax – PIANO PHASE for Two Pianists in VR

Die digitale Revolution unserer gegenwärtigen Kultur führt zu einer neuen Art künstlerischen Praxis zu denken und zu platzieren, die dazu beiträgt, die Grenzen zwischen Kunst und Wissenschaft/Technologie zu überwinden (Tanaka, 2014). Folglich gewinnt die Interaktion mit Technologie in den darstellenden Künsten zunehmend an Bedeutung als Katalysator für die Transformation der traditionellen ästhetischen Definitionen von musikalischer Erfahrung und Herangehensweise (Paine, 2002; Frederickson, 1989). Die Anwendung neuester technologischer Hilfsmittel fördert eine ästhetische Erneuerung, und KünstlerInnen und ForscherInnen werden zu neuen performativen Handlungen und Ausdrucksformen angeregt (Vanoeveren, 2018; Leman 2016).
Wie verändern und erneuern die Auswirkungen der Technologie die Ästhetik und den kreativen Ansatz der Musikinterpretation und -praxis? Inwieweit beeinflusst und potenziert die Interaktion mit Spitzentechnologie den musikalischen Ausdruck der InterpretInnen? Wie können technologische und immersive Musikerlebnisse die Vermittlung von Musik und die Einbeziehung des zeitgenössischen Publikums verbessern? Ziel ist die Förderung von Innovation in der Praxis der Musikdarbietung und neue künstlerische und interaktive Darsteller-Maschinen-Formate zu entwickeln. Durch die immersive Erfahrung mit VR soll die Vermittlung zeitgenössischer Musik an das Publikum verbessert werden. Eine Demonstration, ausgeführt im ASIL LAB – De Krook, Gent: https://youtu.be/GlVaMPCotzM

Umut Eldem
Synaesthetic Syntax – Towards a “Live Synaesthetic Visualisation”? Considerations in Artistically Visualised Sound

Live-Audiovisualisierung und ähnliche Techniken sind in der heutigen Kunst- und Medienwelt alltäglich. Aufgrund ihrer technischen Zugänglichkeit werden Licht, Laser und Projektionen, die dem Rhythmus oder den anderen Modalitäten der dargebotenen Musik folgen, breit verwendet. Die wahrnehmbare ästhetische multisensorische Qualität von Live-Visualisierungen unterscheidet sich jedoch nach wie vor von vorgefertigten Animationen. In diesem Vortrag wird Umut Eldem das Problem der „Live Synaesthetic Visualisation“ vorstellen – eine mögliche Methode der Live-Visualisierung, welche die synästhetische Syntax und cross-modale Korrespondenzen als Ausgangspunkt für die Übersetzung multipler Modalitäten musikalischer Information nimmt, als Alternative zur Abbildung singulärer mathematischer Korrespondenzen. Eine solche Live-Visualisierung ist sowohl bei vordefinierten als auch bei improvisierten audiovisuellen Darbietungen wertvoll, da sich die Spontaneität der MusikerInnen in der visuellen Reaktion widerspiegelt. Der Vortragende wird Beispiele historischer Visualisierungsmethoden von der Entwicklung der Farborgeln bis zur aktuellen Software vorgestellen. Die möglichen Werkzeuge für multimodale Visualisierung werden diskutiert, und audiovisuelle Beispiele vorgestellt, die von diesen Methoden abgeleitet sind. Aus der Diskussion werden hoffentlich neue Perspektiven für Menschen sowohl aus den auditiven als auch aus den visuellen Disziplinen schaffen.

Jānis Garančs
Synaesthetic Syntax – Algorithmic Conflation and Re-Configuration of Audiovisual Space and Movement in the Series of Experiments With Financial Data Audio-Visualisations as Immersive Artworks

Dieses Papier/diese Präsentation stellt Motivation, Hauptkonzepte und Ergebnisse der praktischen Umsetzung einer Reihe von audiovisuellen Experimenten vor, die zeitsequente Veränderungen mehrerer Werte (Zeitreihen von Finanzdaten) in einem immersiven Echtzeit-‚Audiovisualisierungs‘-Kunstwerk abbildet. Es ist als interaktive VR/AR-Installation und audio-visuelles Performance-Interface gedacht. Die von der kognitiven Neurowissenschaft geleitete Forschung zu Rhythmus und Bewegung hat in den letzten Jahrzehnten eine Blütezeit erlebt, bevor die Virtual-Reality-Technologien aufkamen. Fragen, die ihren Ursprung in den Bereichen Philosophie und Musiktheorie haben, können nun zusätzlich mit computer- und KI-Technologie-gestützten experimentellen Ansätzen untersucht werden.

Fred Collopy
Synaesthetic Syntax – A Hypothesis-Based Approach to Visual Synthesizer Design

„Mit der Romantik und dem Aufkommen der Instrumentalmusik entwickelten die Komponisten eine Sprache, die es ihnen erlaubte, sich direkt mit dem menschlichen Gefühl zu verbinden, eine Sprache, in der eine Idee und ihr Ausdruck eins waren. Der Inhalt der Musik wird vollständig durch ihre klanglich bewegten Formen wahrgenommen“ (Herzog). Alle anderen Künste, allen voran die Malerei, teilten den Neid auf die Musik, so dass der Kritiker Walter Pater 1888 berühmt schrieb: „Alle Kunst strebt ständig nach dem Zustand der Musik“. Viele moderne KünstlerInnen schrieben spezifisch darüber, wie Malerei und Musik sich gegenseitig beeinflussen und ergänzen. In diesem Aufsatz beschreibe ich, wie ich Erkenntnisse von MalerInnen wie Paul Klee, Leopold Survage, Georgia O’Keefe und Karl Gerstner als Hypothesen verwende, um das Design eines visuellen Synthesizers zu leiten. Kandinsky schlug zum Beispiel vor, dass die Amplitude in der Musik mit der Dicke der Linie in der Malerei zusammenhängt. Ich wende solche Hypothesen an, um visuelle Interpretationen von musikalischen Passagen zu kreieren.

Eric Dyer
Synaesthetic Syntax – Physical Presence and Material Desire: Eric Dyer’s Sculptural and Performative Animation Art Practice

Animation ist noch eine junge Kunstform mit vielen unerforschten Ausdrucksmöglichkeiten. Oft wird Animation noch immer rein als Unterhaltung auf Bildschirmen verstanden, kann aber auch für partizipatorische Skulpturen, immersive kinetische Umgebungen, Live-Performance und andere explorative Erfahrungen eingesetzt werden. Dieser Aufsatz konzentriert sich auf zwei Bereiche meiner Kunstpraxis – skulpturale Animation und Performance-Animation. Meine anfänglichen Streifzüge in die Kunst des Zoetrops begannen als eine Rebellion gegen meinen damals üblichen Prozess der Arbeit am Computerbildschirm. Mit Hilfe von TechnikerInnen entwickelte ich Systeme, die moderne Mikrocomputer, Sensoren und LEDs mit älterem optischen Spielzeug und Technologien synthetisierten – für neue animierte Skulpturen und Installationen, die eine ganz bestimmte Art von Aufmerksamkeit und eine direkte Beteiligung erfordern, um die Werke „zum Leben zu erwecken“.

 

Biographies


Birgitta Hosea (SW/UK) is an artist, filmmaker, and researcher in expanded animation. Exhibitions include Venice & Karachi Biennales; Oaxaca & Chengdu Museums of Contemporary Art; InspiralLondon; Hanmi Gallery, Seoul. She has a solo exhibition at ASIFAKeil, Vienna in April 2020. Included in the Tate Britain and Centre d’Arte Contemporain, Paris, archives, she has been awarded […]
http://www.birgittahosea.co.uk/

Juergen Hagler (AT) studied art education, experimental visual design, and cultural studies at the University for Art and Design in Linz, Austria. He currently works as a professor of Computer Animation and Animation Studies in the Digital Media department at the Hagenberg Campus of the University of Applied Sciences Upper Austria. Since 2014 he a […]
https://research.fh-ooe.at/de/staff/215

Rose Bond (CA/US) produces work at the juncture of expanded cinema, experimental animation, and experiential design. Her large-scale animated installations navigate the allegories of place and illuminate urban space. Recent work includes multi-screen projections for avant-garde composers Olivier Messiaen‘s Turangalîla-Symphonie and Luciano Berio’s Sinfonia. With roots in frame-by-frame, hand-drawn animation, she now focuses on public […]
http://rosebond.com/

Dr. Vicky Smith (UK) is an experimental animator. Her practice-driven Ph.D. pursued an inquiry into relations between the body, technology, and materials with regard to experimental film and modernist theory.

Alexander Stublic (DE) studied media theory, philosophy, and media art at the HfG Karlsruhe. With new techniques, 3D objects, and VR, he emphasizes the penetration of simulation into the real in his most recent work. In addition to exhibitions at the ZKM | Karlsruhe and the Kunsthalle Baden-Baden, he took part in international festivals such […]
https://www.stublic.de/

Sama Mara (UK) is an award-winning Visual Artist and Geometer. Having completed his bachelor’s degree in Music and Visual Arts at Brighton University in 2004, he went on to study for his MA in Traditional Arts at the Prince’s School of Traditional Arts in London, 2010. His research has been guided by his two-decades-long inquiry […]
http://samamara.com/

Giusy Caruso (BE) is an artist-researcher, musicologist, and professional concert pianist, oriented to a futuristic approach to music performance that connects art and science applications. Her research explores on one side the novel forms of human-machine interaction, in particular, the role of the cutting-edge technology for the analysis of gestures and sound in piano playing […]

Umut Eldem (BE) took part in several interdisciplinary projects as part of his composition studies at the Royal Conservatoire of Antwerp. The most notable are the Word-Composition, Dance-Composition, and Sketch the Sound. For these projects, the Composition Department collaborated with the Word Department, Dance Department, and the Royal Academy of Fine Arts. Eldem participated in the Kolla Festival and […]

Jānis Garančs: Initially trained in classical arts, Jānis Garančs (LV) works in technological and algorithmic art genres – interactive multi-media installations and performances, Virtual Reality, video, digital print, and mixed material painting. His artworks are characteristic with inspiration from various concepts of contemporary theoretical physics, communication and evolution theories. The works can be a mixture of dystopian, […]
https://garancs.net/

João Pedro Oliveira (US) is a Professor at the Department of Music at the University of California, Santa Barbara.
http://www.jpoliveira.com/

Fred Collopy (US) is a Professor Emeritus of Design and Innovation at Case Western Reserve University. He published in the areas of visual instrument design, managing as designing, forecasting methodology, and information technology.
http://rhythmiclight.com/

Eric Dyer: Artist and filmmaker Eric Dyer (US) brings animation into the physical world with his sequential sculptures and installations. His work has been widely exhibited at events and venues such as the Smithsonian National Gallery of Art, Ars Electronica, the London International Animation Festival, the screens of Times Square, and the Cairo and Venice Biennales. He […]
http://www.ericdyer.com/