Da hat grade ein Regisseur einen Cosmetics Film mit Hilfe einer AI „nachgedreht“, den er vor einem Jahr mit 30 Mann Team und jeder Menge Realdrehaufwand hergestellt hat. Netterweise hat er an die AI-Version eine Side-By-Side Comparison angehängt vom Original und von der AI Version.

Man kann da jetzt wieder mit dem Profi-Auge draufschauen und konstatieren, dass ja das Original total super individuell und kreativ sei, und dass die AI Version dagegen total generisch sei und ihr die letzten 5% an Rafinesse und Human Touch fehlten, die das Original so fantastisch machen. Das ist das, was verlässlich jedes Mal passiert, wenn ich mit anderen Branchenprofis das Thema diskutiere.

Das kann man noch 100 mal machen, so wie man auch gesagt hat „Digital drehen? Aber nie im Leben für Beauty Filme“. Aber wie oft noch?

Man kann das aber auch abkürzen und sich nur mal so probeweise mit folgendem Gedanken anfreunden:

Generative AI ist so weit. Die kann immer mehr insbesondere von dem generischen Bewegtbildkrempel umsetzen, der 95% dessen ausmacht, was da draußen noch immer mit riesigem Aufwand in die Welt gesetzt wird.

Und, daraus abgeleitet: Der immer kleiner werdende Unterschied zwischen Realdreh und AI Film interessiert mit Ausnahme von uns Branchenprofis wahrscheinlich immer weniger Konsumenten, und das sind diejenigen, für die das produziert wird. Das ist weder Zynismus nach Konsumentenverachtung, das ist eine sich abzeichnende Realität.

Was genau können wir als Producer nochmal? Eigentlich nur zweierlei: Wir können die Kreativen finden, die perfekt eine Idee, ein Skript zum Leben erwecken werden. Und wir beherrschen die Workflows, mit deren Hilfe diese Regie dann aus einem Skript und einem Budget einen erfolgreichen Film macht. Eine dieser beiden Kernkompetenzen scheint mir grade massiv im Umbruch zu sein.

Ihr kennt sicher den visuellen Standard-Witz aus diversen Looney Tunes Cartoons: Wile E. Coyote rast über die Klippe hinaus und rennt noch ein paar Meter weiter in der Luft über einen tiefen tiefen Abgrund, als wäre die Klippe noch da – erst als er sieht, dass er mitten im Nichts schwebt, stürzt er ab. Wenn ich jetzt abschweifen wollte, würde ich einen kurzen Exkurs über das hochinteressante Feld der Cartoon Physics einbauen (Law 1: „Any body suspended in space will remain suspended in space until made aware of its situation.“ etc.)

Das sollten wir aber in der Welt der Commercial Production Physics tunlichst vermeiden: daß wir einfach immer weitermachen als wäre nichts, während unter uns unsere Workflows wegbröseln und wir merken es erst, wenn wir schon mitten in der Luft schweben.

Vor Kurzem noch habe ich darüber halluziniert gebloggt, daß in Zukunft immer mehr Filme von Centauren gemacht werden, wie sie beim Schach heißen: von Kombinationen aus Menschen und AIs. Und dann finde ich doch tatsächlich einen solchen Centaur in meinen Feeds: Martin Haerlin, Regisseur seines Zeichens, der seit einiger Zeit tolle AI Filme und Werbung macht. Den hab ich ruck-zuck gleich mal interviewt für Euch:

SP: Martin, du kommst aus dem klassischen Werbefilm als Regisseur. Was hat dich bewogen, mit AI loszulegen und die Filme zu machen, die du bisher gemacht hast?

MH: Also die wichtigste Zutat um bei KI eingestiegen zu sein dieses Jahr ist, dass man in der Werbung arbeitet und Anfang des Jahres nichts zu tun hatte. Ich habe früher mal programmiert und habe mich wieder darauf zurück besonnen: Ich hab angefangen zu programmieren. In Python, aber auf ’nem Low Level; Habe auch angefangen mich in Machine Learning reinzubasteln, kleine Kurse angeguckt und dann stieß ich auf Runway, diese Plattform die ja Machine Learning basiert ist, und wo du Videos generieren kannst. Damals war nur die GEN 1 verfügbar, wo du Videos re-stylen kannst. Ich glaube, dass mir mein Programmier-Monat am Jahresanfang die Angst genommen hat, mich damit auseinanderzusetzen.  Wäre ich jetzt im Werbesaft gestanden und hätte rund um die Uhr gedreht, dann hätte ich mir die Video KI gar nicht angeschaut.

Und ich konnte plötzlich meine eigenen kleinen Geschichten erzählen, ich musste noch nicht mal nach draußen! Es war einfach fantastisch, und dann kam in Juni GEN 2, wo man Text eingab, und dann ein Video entstand, wie bei Midjourney mit Stills ging das jetzt plötzlich mit Bewegtbild. Dann habe ich da wöchentlich einen Film gemacht, aber auch Stunden am Tag am Rechner verbracht.

SP: Kannst Du beschreiben, wie sich deine Rolle verschoben hat im Vergleich zu einer klassischen Filmproduktion? Hast du ja schon getan, du sagst „du und dein Rechner, das war’s“, oder?

MH: Es ist es ist deutlich weniger glamourös; man sitzt bucklig vorm Rechner und bastelt vor sich hin. Als ich angefangen habe im April, da haben ganz viele Leute Runway schon benutzt, aber es waren eher so die Computer Geeks, und die haben dann die zehn schönsten KI generierten Explosionen releaset.  Das hatte für mich aber erstmal keinen Use Case; es gab kaum jemanden, der Storytelling macht und KI benutzt. Und deswegen konnte ich mit meinen Filmen eine Leerstelle ausfüllen.

Mit anderen Worten: es ist irre wichtig dass man Storytelling kann, sei es als Werbe-Regisseur oder als Spielfilmregisseur, oder als Schriftsteller, und das dann kombiniert mit einem oder mehreren KI-Tools.

SP: Wie wir sehr fehlt dir der Input der anderen Department also Storyboarder, Production Designer, Kamera und so weiter?     

MH: Der Input der klassischen Departments funktioniert im Moment noch nicht in der KI-Welt. Man kann nicht sagen „Ich möchte genau so ein Wohnzimmer“, „Ich möchte genau so ein Licht“ „Ich möchte genau so eine Aktion“.

Sämtliche KI-Plattformen quatschen mit rein und machen ihr Zeug damit. Das heißt, du triffst immer wieder auf Begrenzungen, wo du dich drumrum arbeiten musst. Was aber wichtig ist, ist der Input anderer KI Leute. Ich bin überrascht wie freundlich und unterstützend die KI Community ist vor allem auf Twitter. Ich hab wieder unheimlich viel Input, aber von anderen Leuten. Welche Kamerabewegungen gehen; welche Prompts funktionieren gut; welche schlecht; was kann man ohne viel Aufwand mal eben generieren und was braucht ewig. Das heißt, der Austausch hat sich nur verschoben.

SP: Sind das Leute die wie du einen Regie-Background haben, oder ist das deutlich bunter?

MH: Ich bin einer der wenigen, die da wirklich mit seinem Klarnamen herumhantiert. Die meisten haben irgendwelche Avatare und dementsprechende Namen, aber ich glaube, dass viele aus dem Filmbereich kommen. Art Direktoren, Regisseure, einer kommt von der BBC – schreibt er – ich finde man merkt relativ schnell wo sie herkommen, wenn man deren Arbeiten sieht. Leute die wirklich Storytelling machen, die müssen aus dem Bereich sein. Die setzen sich mit Bildern auseinander. Es gibt aber auch ganz viele die machen Tests, die zeigen dann den Fallschirmsprung, den sie in KI gerechnet haben; und das hat ja auch seine Berechtigung. Ich merke: Soundso könnte man etwas erzählen. Die, die mich faszinieren, kommen wahrscheinlich aus einem ähnlichen Bereich wie wir.

SP: Die Arbeitsteiligkeit ist ja trotzdem komplett verschwunden, wenn du als Chimäre mit deinem KI Tool zusammenarbeitest. Welche der klassischen Rollen gibt’s da zukünftig für dich eigentlich? Gibt es eine Rolle für einen Producer in diesem Setup?

MH: Was ich mach ist wirklich nur auf sehr kleinem Level. Man könnte deutlich bessere KI Filme machen, wenn man im Team arbeitet. Wenn man einen Producer hat, der das kalkuliert. Wenn man einen Kameramann hat, mit dem man was zusammen dreht & das dann restylet; und dann aber auch noch in einem Text to Video Tool die Establisher macht. Eigentlich geht es mir darum zu zeigen, „Hey, KI kann ’ne Menge; Aber bitte nicht ab jetzt alle Spots in KI generieren“.

KI ist ein mächtiges Tool, mit dem man prävisualisieren kann, aber in Zukunft auch ganze Shots ersetzen kann, wofür früher die Kohle oder die Zeit nicht gereicht hat. Du kannst deine Filme viel größer machen; emotionaler, intensiver. Eigentlich gehts mir nicht darum, Departments zu ersetzen, sondern Enhancement durch das KI-Tool zu bekommen.

SP: Gestern bin ich über einen AI Film von Cadmo Quintero gestolpert, der hat klassische Departments mit reingenommen: Sören Görth hat geschnitten, DIE ZWEI haben Musik gemacht, und man merkt sofort den Input der anderen Departments. Das Heavy Lifting übernehmen in diesem Film geradezu der Schnitt und die Musik. Das macht einen Riesenunterschied.

MH: Hab ich gesehen, finde ich richtig toll. Wir haben unterschiedliche Herangehensweisen glaube ich – mir geht es erstmal darum zu zeigen, du kannst es als One-Man-Show schaffen. Ich mach absichtlich Low Tech. Ich hab in meinem letzten Re-Styling-Film absichtlich ein  Stöckchen benutzt, ich hätte auch eine Pistole nehmen können, ich habe aber extra ein Stöckchen genommen und das zu einer Pistole re-stylen lassen, ich will, dass das alles handgemacht aussieht.

Wenn da noch mehr Regie- oder Kamera Kolleginnen einsteigen würden… wir haben alle so einen Vorsprung was Filmsprache angeht, das beeinflusst den Output. Wir wissen wie wichtig Sounddesign ist, wie wichtig ’ne Close und ’ne Weite Einstellung im Wechsel sind, wir könnten richtig tolle KI Filme machen, es benutzen aber noch extrem wenige. Das ist so ein bisschen wie „Don’t Look Up“: Es WIRD kommen. Und man MUSS sich damit auseinandersetzen. Zu sagen „Ich mach’s nicht“, das ist echt gefährlich.

SP: Deinen LowFi Ansatz finde ich persönlich wahnsinnig interessant. Das was Cadmo gemacht hat, ist für mich so das Naheliegendste; das ist so ein Post Production SciFi Future Dystopia Sujet Ding, da werden die Leute vielleicht sagen „Naja, das hätte man früher in 3D gemacht oder in der Unreal Engine, jetzt macht’s halt ’ne KI, wo ist der große Unterschied?“ Aber bei dem, was du machst – das machst du nicht in UnrealEngine. Der Ansatz ist ein ganz anderer. Den finde ich persönlich total spannend weil es einem dieses Gefühl vermittelt „Geil! Let‘s Go! Ich brauch das alles nicht, film film film!“

MH: Genau! Diese Attitude möchte ich rüberbringen. Ich will es nicht als NOCH schwieriger hinstellen. Nicht: „Oha, wenn ihr KI macht, Freunde, daaaaannn langsam…“ Ich veröffentliche auch immer meine Herangehensweise.

SP: Ich habe vor allem Angst davor, dass die Industrie das vereinnahmt und sagt „uh, oh, da brauchen wir jetzt aber erstmal ein halbes Jahr“, und dann ist das wieder so wie beim Switch von Filmmaterial zu digital: du sagst “Geil, ich  muss diese blöden Filmrollen nicht mehr rumtragen und entwickeln und abtasten, Yippie!“ aber dann kommt gleich: du brauchst einen DIT; und du drehst 10x so viel Material; hast doppelt soviel Edit-Zeit etc. Da hat sich der Alte Prozeß gleich wieder so breit gemacht in dem neuen Medium, dass der Unterschied zwischen Alt und Neu sofort wieder verschwunden ist. Also die ganzen Vorteile. Darum finde ich deinen LowFi Ansatz so toll: Das macht Spaß, und das merkt man.

MH: Der Spaß ist dabei wahnsinnig wichtig, dass man andere inspiriert und ansteckt. Dass sich die Industrie da sofort wieder breit macht: Ich hoffe dass das nicht passiert.

Man muss im Moment mit KI noch sehr vorsichtig sein weil es den gesamten Prozeß der Werbung auf den Kopf stellt. Während es bei Werbung immer um Kontrolle ging – Fitting, Abnahme wie das Essen aussieht… Wir versuchen, den Zufall möglichst auszuschließen denn der Kunde hat all sein Geld zusammengekratzt und da soll dann die Schokolade fließen und die Butter schmelzen, und da darf nix schiefgehen. Und das geht mit KI nicht mehr. KI wird das auf den Kopf stellen. Wir müssen uns da mit dem Zufall, der Spontaneität arrangieren. Und ich glaube, dass sich dieser Prozeß in der Werbung durchsetzen wird. Parallel zur üblichen Kontrolle. Sone Marke wie Dr. Oetker wird nicht so schnell auf KI aufspringen; aber eine Lifestyle Marke wie H&M oder Zalando. Wenn ich sehe wie ein Model in Pink gekleidet an einer Tischtennisplatte vor einer grauen Betonwand vorbeiläuft, dann ist das ein Bild, was ich bald in KI umsetzen kann. Und dann kriege ich vielleicht eine Person, wie sie vielleicht nicht ganz im Zalando Katalog zu finden ist; aber sie hat trotzdem was Interessantes. Es wird ein neuer Prozeß entstehen, wo man Spontaneität wieder zulässt und wo man zu den Anfängen der Werbung zurückgeht, wo man einen Künstler engagiert hat und gesagt hat: „Mach uns mal in deinem Style etwas für meine Marke.“ Und da ist dann jetzt eben der KI Künstler, und dem sagt man “Mach doch mal mit deiner KI einen lustigen Film für XY“ Und dann machst du was und zeigst es denen und das ist eine total schöne Vorstellung und Zukunft, auf die ich mich freuen würde.

SP: Bin ich total bei dir. Hast du schon ein kommerzielles Projekt mit KI umgesetzt?

MH: Es kommen wahnsinnig viele Anfragen. Es ist im Moment noch schwierig, weil die immer noch die volle Kontrolle wollen. Ich hatte eine Anfrage einer Versicherung aus USA, die KI sollte da eine Traumsequenz generieren von einem PIXAR-Mädchen, das Fußball spielt. Da habe ich gesagt, den eigentlichen Film muss man normal drehen, aber von der Animation könnte man große Teile wenn nicht alles in KI machen. Da würde ich mich dann hinsetzen und das VOR dem PPM so weit vorbereiten wie möglich, damit man dann nicht erst nachher merkt, dass man die Szene wie der Fuß den Ball kickt gar nicht hinbekommt in KI, was tatsächlich nicht möglich ist. Aktionen sind noch wahnsinnig schwierig.

Ich spreche jetzt beim ADC im November; bin mit einer Argentinischen Agentur am diskutieren. Deutsche Agenturen haben sich wenige gemeldet bisher. Mit Wiedemann & Berg habe ich gesprochen.

SP: Ich beobachte die Reaktionen, da gibt es ein breites Spektrum. Andre Aimaq hat da beispielsweise auf LinkedIn bedauert, dass die Agenturen nicht streiken wie die SAG Darsteller und als Forderung formuliert, dass AI Kreationen als solche gekennzeichnet werden müssten; und am  anderen Ende des Spektrums sind dann Menschen wie du oder der lustige John Finger, der auch dieses Let’s-go-for-it Ding laufen hat – wie siehst du diese Diskussion?

MH: Schwierige Diskussion. Seit Jahrzehnten werden in Hollywood Menschen über VFX dupliziert. In Mittelerde sind nicht 40.000 Orks gerannt, und der Film ist 25 Jahre alt. Es gab da schon immer Tricks. Die SAG Geschichte – so wie ich sie verstehe – ist, dass es darum geht, dass Komparsen von KI ersetzt werden.

Ich hab neulich mit einem Synchronsprecher dieselbe Diskussion geführt. Meine Kinder haben mal Synchronsprecher 2 Sätze für Netflix gesprochen. Sowas wird ziemlich sicher von KI ersetzt werden. Da muss ich aber auch sagen: Da geht kein Kunstform flöten. Das waren Teenager, keine Synchronsprecher auf einem hohen Level. Die werden in absehbarer Zeit nicht ersetzt werden. Die ganzen Nuancierungen kannst du so nicht Prompten. Das gleiche gilt für Schauspielerei. Wenn Komparserie verschwindet, verschwindet auch da keine Kunstform, sondern ein total netter Nebenjob.

Menschen können nur von Menschen gespielt werden, wenn sie eine emotionale Rolle haben, aber wenn man 20.000 Menschen zeigen will, die mit Schwertern herumrennen, dann kann man natürlich KI benutzen. Da verschwinden Jobs, die vor 120 Jahren auch im Handwerk verschwunden sind.

Du kannst auch jetzt einen handgewebtem Teppich aus der Manufaktur haben, aber auch einen Teppich von IKEA.

Und dasselbe wird es auch bei uns geben: Handgefertigte Filme von toller Crew gemacht; oder maschinengemachte Filme und Kreation. Das wird in diese zwei Kategorien zerfallen.

SP: Hast du Empfehlungen wo man dranbleiben sollte?

MH: Jon Finger ist toll.  Nikolas Neubert hat einen tollen Trailer gemacht, Christian Fleischer hat einen der ersten Gen2 Filme gemacht: THE GREAT CATSPY. Als ich das gesehen habe war ich so begeistert. Auf Twitter gibt es eine tolle Community, unbedingt einen Account holen. Aber, Rückfrage, wie siehst du das denn mit KI & Jobs ersetzen?

SP: Der kommerzielle Druck, das umzusetzen, was möglich ist, ist so groß, dass du dich nur entscheiden kannst, mitzumachen oder den Laden abzusperren. Wir als Werbefilmproduzenten sind überhaupt nicht in der Position, da Forderungen aufzustellen. Das klingt vielelicht defätistisch, aber wir drehen unsere Werbefilme auch im  Ostblock, weil da der Oberbeleuchter nur die Hälfte kostet. Das ist so. Das kann man Scheiße finden, aber man kann sich nur entscheiden, da mitzuspielen oder raus zu sein. Das muss man sich natürlich immer wieder neu fragen: „Mach ich DABEI dann auch noch mit, oder lasse ich’s dann lieber sein?“

Ich glaube, das wird sich verschieben, das Nicht Ersetzbare wird immer weniger werden – was muss man mit echten Menschen machen? Immer weniger. Das frisst sich ja schon von unten in unsere Departments rein. Stock Footage, Moodscouts, Storyboards, in die Kreation selbst – JVM hat grade eine KI Hyundai Kampagne gemacht. Das kommt aus allen Richtungen auf uns zu. Und die wirtschaftlichen Incentives, das zu machen, sind so stark, wie wir’s beim Switch zu digitalem Drehen erlebt haben, und das in Potenz. Da geht’s nicht darum, dass man jetzt 1.500 Euro für eine Abtastung spart. Da geht’s darum, dass man bestimmte Filme so macht, so wie Martin Haerlin sie jetzt schon macht, nämlich als One-Man-Show in einer Woche am Rechner. Mit einer guten Idee und einer guten KI und Feierabend. Da brauchste nicht nach Kapstadt weil das Wetter da schön ist im Winter.

MH: Was jetzt easy geht ist: du kannst jetzt einem Weingut einen 30-Sekünder über Trauben im Herbst machen. Das würde dich eine Stunde kosten, und die können das auf ihre Social Media Seite stellen. Man kann also jetzt auch Filme machen für alle die, die sich bisher keine Filme leisten konnten.

SP: Ich glaube diese positive Vision gibst da auch, dass sich da ganz viele neue Arten ergeben werden, mit denen man sein Geld verdienen kann. Es wird Zugang geben für Leute, die vorher keinen Zugang hatten. Die Location Scout geworden sind, obwohl sie vielleicht ein besseres Auge haben als mancher Kameramann. Da werden die Karten neu gemischt. Und es werden Jobs entstehen, die wir uns noch nicht vorstellen können, genau wie sich die Pferdekutscher den Tankwart noch nicht vorstellen konnten.

MH: Ich bin nach wie vor verblüfft wie klein das Interesse aus Deutschland ist.

SP: Ich hab’s am eigenen Leib erfahren. Ich hab THE GERAT CASTPY gesehen und gedacht „Also jetzt schlägst dreizehn“. Das habe ich allen geschickt, die mir einfielen und hab geschrieben: „Ihr MÜSST EUCH DAS ANGUCKEN. So in Stresser-Großbuchstaben. Das wird sowas von unser aller Business umschmeißen…“ Ich habe eine einzige Reaktion bekommen von einem anderen Producer, der schrieb: „Naja, da musste ja noch 150.000 reinstecken damit das wirklich gut aussieht, das wird niemals was werden“.

MH: Das ist so wie man immer dachte dass ein Computer so groß sein muss wie ein Wohnwagen.

SP: Ja, die Beharrungskräfte, ich weiß nicht ob aus Angst oder aus Betriebsblindheit, die sind da doch sehr stark. Wo ist eigentlich die erste AI Filmproduktion? Naja, ich hab sie ja auch noch nicht aufgemacht… Aber DU machst das! Darum Kudos nochmal dafür, das macht viel Spaß, ich bleib da dran. Danke nochmal für das Gespräch!

MH: Danke Dir!