Eine Reise und ein Sturz in die Vergangenheit, der die Beziehung eines Paares von der Mittelschule bis ins Jenseits nachzeichnet. „The Hardest Part“ ist der Gewinner des AI in Art Award 2024.
Gastbeitrag von Paul Trillo / Golden Nica AI in Art Award 2024
Das Musikvideo zu The Hardest Part von Washed Out ist ein bahnbrechendes Projekt, da es das erste vollständig generative Video ist, das mit dem SORA Text-to-Video-Modell von OpenAI erstellt wurde. In dem Song geht es darum, eine verlorene Liebe hinter sich zu lassen, und ich wollte dieses Thema würdigen und ihm gleichzeitig eine eigene Note geben. Das Video umspannt mehrere Jahrzehnte, beginnend in den frühen 80ern, und folgt einem jungen Paar, das sich in der Mittelschule kennenlernt. Wir sehen, wie sie älter werden, Veränderungen durchmachen, zusammen erwachsen werden, sich verlieben und sich schließlich den Herausforderungen des Lebens stellen, das nicht so verläuft wie geplant.
Ich wollte eher die halluzinatorischen, traumähnlichen Qualitäten von SORA nutzen, als etwas völlig Reales darzustellen. Es geht um den Versuch, jemanden in der Zeit zu bewahren, mit Erinnerungen, die flüchtig und schwer zu fassen sind. Die surrealen Mischungen von Umgebungen und unmöglichen Übergängen – von Autos zu Gebäuden und Landschaften – erzeugen ein fließendes Treiben durch das Unterbewusstsein, das versucht, das Reale festzuhalten. Künstliche Intelligenz hat eine ephemere und bekannte Qualität, die es uns ermöglicht, eine Nostalgie für etwas zu entwickeln, das nie stattgefunden hat, bekannt als „Anemoia“. Ich wollte die KI unter diesem konzeptionellen Gesichtspunkt nutzen, indem ich die Technologie einsetze, um Träume und Erinnerungen an etwas zu wecken, das wir nie haben können.
KI-Modelle sind wie Gedächtnisspeicher und Zeitkapseln, und so entstand die Idee, diesen Aspekt auszunutzen. Anstatt der Realität gerecht zu werden, schafft die KI etwas Neues – ein unheimliches Abbild unserer Realität, das uns etwas vorgaukelt, das nie stattgefunden hat. Die Ästhetik ist nicht etwas, das man mit Kameras einfangen oder animieren könnte; sie ist völlig neu und ähnelt einem Traum oder einer Erinnerung. Auf den ersten Blick erscheint sie real, aber die Details sind undeutlich und fehlen. Das Konzept, das erste SORA-Musikvideo mit dieser Reise durch die Erinnerungen zu verknüpfen, erschien passend.
Das Projekt war ehrgeizig und durchquerte Zeit und Raum auf unmögliche Weise. Die Idee eines unendlichen Zooms durch die Zeit, der ein verliebtes Paar begleitet, kam mir vor etwa 10 Jahren, aber ich verwarf sie, weil ich sie für ein Musikvideo für zu ambitioniert hielt. Die alternden Charaktere, die zahlreichen Schauplätze und Zeitabschnitte sowie die visuellen Effekte waren mit dem Budget eines Musikvideos nicht machbar. KI ermöglicht es uns, diese Ideen auf dem Friedhof wieder auferstehen zu lassen und ihnen neues Leben einzuhauchen. In gewisser Weise erzählt das Musikvideo eine ähnliche Geschichte über eine Frau, die von ihrem Ex-Liebhaber träumt, der nicht mehr da ist. Der Text legt nahe, die Vergangenheit hinter sich zu lassen, die Nostalgie loszulassen und zu akzeptieren, dass es kein Zurück mehr gibt. Darin spiegeln sich die gemischten Gefühle wider, die man hat, wenn man sich auf neue Technologien einlässt und weiß, dass die Dinge in Zukunft nicht mehr so sein werden wie früher. Auch das Thema des Songs, wie man lernt, einen geliebten Menschen loszulassen, hat mich tief berührt, und ich habe meine persönlichen Erfahrungen mit dem Verlust in die Erzählung einfließen lassen.
Bei der Arbeit mit SORA oder einem anderen KI-Tool ist es wichtig, die eigene Perspektive und den eigenen Tonfall beizubehalten. Die Festlegung von Einschränkungen oder formalen stilistischen Regeln für einen Film hilft, diese Stimme zu definieren. Es ist leicht, sich von der Maschine dominieren zu lassen und ihr die Ästhetik oder die Auswahl der Details zu diktieren. Bei der Arbeit mit künstlicher Intelligenz geht es darum, das Chaos zu kontrollieren, aber alles Filmemachen ist kontrolliertes Chaos.
Während ich die Halluzinationen der Maschine von der Realität abweichen und eine surreale Atmosphäre schaffen ließ, lenkte ich sie mit seitenlangen Skriptvorgaben, die den Takt jeder Einstellung, das Charakterdesign, die Stimmung, die Beleuchtung, die Retro-Ästhetik, die Kamerabewegung und das Tempo beschrieben. Ich habe die Kamerabewegung ganz bewusst eingesetzt und dafür gesorgt, dass jeder Schnitt einen Zeitsprung darstellt. Die Technik des unendlichen Kameraschubs oder -zooms und die Übergänge zwischen den Umgebungen sind Techniken, die ich in meiner Arbeit seit Jahren verwende. Sie schufen eine Verbindung zu meinen früheren Arbeiten und ermöglichten es mir gleichzeitig, damit etwas völlig Neues zu machen. Die Bewegung dieser synthetischen Kamera durch einen imaginären latenten Raum eröffnete völlig neue visuelle Unmöglichkeiten, die einen Ausblick auf die Zukunft des Filmemachens geben.
Um zum Endprodukt zu gelangen, musste ich eine Menge ausprobieren und erforschen. Ich schrieb die Grundzüge der Idee auf, verwandelte sie in Stichworte, erstellte die Clips, schnitt sie zu einer Sequenz zusammen, sah, was funktionierte und was nicht, und erstellte dann weitere Clips. Es war ein fließendes Hin und Her zwischen „Pre-Production“ und Post-Production. Das eröffnete mir ein ganzes Universum an Möglichkeiten, wie ich das Video gestalten konnte. Es fühlte sich intim an, als würde ich mit jeder Generation mehr über die Figuren erfahren und Einblicke in ihr Leben erhalten, die noch niemand gesehen hatte. Es war faszinierend zu erforschen, aber zu wissen, wann man aufhören muss, kann eine Falle sein, wenn man mit KI arbeitet. Insgesamt habe ich fast 700 Clips erstellt und sie für den endgültigen Schnitt auf etwa 55 reduziert. Jede Aufnahme war zwischen 15 und 20 Sekunden lang, so dass ich am Ende etwa 230 Minuten generierte, die ich auf 4 Minuten kürzte. Dabei ging es vor allem darum, die Eingabeaufforderung zu formulieren und SORA dazu zu bringen, das zu tun, was ich im Kopf hatte, und die richtige Wortkombination zu finden, um den gewünschten Effekt zu erzielen.
Eine der größten Herausforderungen bei der Erstellung dieses Videos war es, die Kontinuität des Zoom-Effekts zu gewährleisten und eine einheitliche Ästhetik in den verschiedenen Clips zu erhalten. Dies erforderte akribische Detailarbeit und ständige Anpassungen der Prompts, die zur Steuerung von SORA verwendet wurden. Durch die Bearbeitung der Prompts zur Steuerung der Geschwindigkeit und Richtung der Kamerabewegungen konnte ich einen kohärenten Erzählfluss schaffen, der sich natürlich und eindringlich anfühlte. Es war, als hätte ich eine Formel gefunden, die funktionierte, auch wenn manchmal die Änderung eines einzigen Wortes einen Welleneffekt von Veränderungen auslöste.
Dieses Projekt ist zwar aufregend, weil es das erste seiner Art ist, aber ich hoffe, dass es über die reine Technologie hinaus einen Wert hat. Jetzt, da wir in der Lage sind, ehrgeizige Ideen heraufzubeschwören und alte wieder aufleben zu lassen, besteht die Möglichkeit, das Filmemachen in neue Bereiche des Surrealen und Seltsamen vorzustoßen. Der Einsatz der KI-Technologie hat es mir ermöglicht, etwas zu erschaffen, das ich nie erschaffen hätte, eine ehrgeizige Idee zu verwirklichen und sie auf eine Weise zum Leben zu erwecken, die sich sowohl vertraut als auch völlig neu anfühlt. Ich erkenne an, dass der neuartige Einsatz von KI nur vorübergehend ist und dass wir mit langfristigen Veränderungen konfrontiert sind. Es gibt berechtigte Kritik an der Art und Weise, wie diese Modelle auf gestohlenen Daten aufgebaut wurden, und an den Auswirkungen der KI auf die Kreativbranche.
Ich bin der Meinung, dass KI als ergänzendes Werkzeug zum traditionellen Filmemachen gesehen werden sollte, um die von Menschen geführte Kreativität zu verbessern, anstatt sie zu ersetzen.
Transparenz und eine ethisch vertretbare Entwicklung dieser Technologien sind entscheidend, um einen nachhaltigen Weg in die Zukunft zu finden.
Paul Trillo
Paul Trillo (US) ist ein Regisseur und Videokünstler, der mit seinen visuell erfinderischen, konzeptionellen und technischen Filmen sowohl seine eigene Neugier als auch seine Illusionen herausfordert. Sein vielfältiges Werk umfasst verschiedene Genres und Formate, wobei er seinen experimentellen Einsatz von Technologie und Technik mit Sinn und Zweck verbindet.