Hervorgehoben

Ein Tausendstel

Seit der AI Hype angefangen hat, versuche ich, an den ganzen ästhetischen, kreativen, gesellschaftskritischen, arbeitsmarkbezogenen und sonstigen Diskussionen absichtlich vorbeizuhören und mich stattdessen zu fragen: Was ist denn jetzt das Disruptionspotenzial von generativer AI in unserem Business? Noch genauer: Kann man da, wir sind ja schließlich Producer, irgendwie mal ’ne Zahl dranhängen bittesehr? Könnte man ja wohl mal versuchen. Schließlich hängen wir ja auch jeden Tag Zahlen an Agenturskripte, die regelmäßig kaum verbindlicher sind als die Frage „Was kostet eigentlich so ein AI Film“, also let’s go for it!

Der Regisseur Paul Trillo hat Zugang zu SORA und hat damit ein fantastisches Musikvideo gemacht, eine wahre Materialschlacht nach klassischen Maßstäben. Im FX GUIDE gibt es eine Analyse, die greifbar macht, was da auf uns zurast.

Trillo hat rund 240Minuten generiert für 4Minuten finalen Film, das macht eine shooting ratio von 60:1. Eigentlich nix Besonderes, erst recht nicht für ein Tool das noch in den Kinderschuhen steckt.

Irrerweise hat er dabei nur ein paar wenige Übergänge mit After FX getrimmt und alles gegradet, der Rest kommt so direkt aus SORA – woran man sich schon alles gewöhnt hat! Ich hab schon so Kommentare gehört wie „Holt mich nicht ab“… Ich selber bin noch beim dritten Mal Gucken geflasht von der Materialfülle, der weiredness, dem Tempo, dem Sog, den das erzeugt, aber egal: anderes Thema.

Der FX Guide hat die Kosten für die Computing-Leistung dahinter mit rund 650$ berechnet. Nicht für SORA wohlgemerkt, die haben noch gar kein Preismodell, aber für die erforderliche Computing Power, die man anhand von Tech Specs berechnen kann, die SORA veröffentlicht hat. Zu teuer für Amateure, aber ein Schnäppchen für professionelle Anwender.

Zum Vergleich: Dieses Musikvideo nach klassischen Gesetzen herzustellen ist budgetär kaum abbildbar bei der Anzahl an Szenen, Sets, Darstellern etc. 50-60 Sets; sagenwirmal 10 Drehtage, tonnenweise VFX… Egal, nehmen wir an, es hätte abgesehen von Regiegage und Konzeption, die ja für die SORA Version auch anfallen, wild guess: 650.000 gekostet, nach oben hin seeehr offen. Dagegen stehen 650 für Computingkosten.

Wenn also mal jemand das Disruptionspotenzial von Sora für den Kernbereich unseres Wirkens – das Filme Machen – mit einer Zahl versehen möchte, hier ist sie: Der Aufwand sinkt potenziell auf ein Tausendstel. BÄÄÄÄÄM!

Ist ja nur ’ne Zahl? Geht mal zu einem Autokonzern und erklärt denen, daß jemand grade eine Methode gefunden hat, ihr Auto für ein Drittel der Kosten herzustellen. Da fällt denen der Kitt aus der Brille. Bei einem Drittel, nicht bei einem Tausendstel.

Und ja, ich weiß: Es gibt X Gründe, warum das Video von Paul Trillo noch nicht so gut ist, als wenn man alle erdenklichen verfügbaren High End Tools und Realdreh dafür aktivieren würde. „Die letzten 5% sind immer die schwierigsten“, „Die Characters sind noch nicht konsistent“ etc etc yadda yadda yadda. Aber das ist doch alles MiMiMi angesichts des POTENZIALS einer Ersparnis von 1.000:1! Hallo, Kapitalismus und so???

Mal anders herum gefragt: Glaubt ihr, daß diese Ratio 1.000:1 genügend Anreiz hergibt, um Character konsistent zu machen und die letzten 5% auch noch hinzubekommen? Glaubt ihr, daß Sam Altman ein paar Milliönchen von den 7 Billionen Dollar ($7.000.000.000.000 – auch nur eine Zahl, aber eine Zahl mit 12 Nullen, mehr als ein Viertel des GDP der USA), die er für AI gern aufstellen möchte, da reinstecken wird? Wetten und Gegenwetten bitte gerne in die Kommentare.

Oh, und wer Langeweile hat, hört sich einfach unsere jüngste Podcast-Folge an (oder die davor, die ist auch super): https://www.filmmakingfuture.com

Der Blog zum Hören

Ooops, schon die dritte Episode draußen, da dann wird’s aber Zeit hierfür, was?

Mit meinen fabulösen Kolleginnen von anno dunnemals, der Editorin Ilka Risse und dem Regisseur Daniel Lwowski, habe ich mich daran gemacht, diverse Themen zu vertonen, die auch schon durch meine Blogs geistern. Insbesondere fragen wir uns, was denn da gerade mit unserem geliebtem Metier, dem Filme machen, passiert, und wie es vielleicht weitergehen könnte. Mutige würden „Podcast“ dazu sagen! Gerne mal mit ungläubigem Gekicher und im vollen Gallopp durch die Wortspielhölle, aber versprochenermassen immer das Thema ZUKUNFT fest im Auge behaltend…

In der ersten Folge stellen wir uns vor und das, worüber wir zukünftig sprechen und Gäste befragen werden.

In der zweiten Folge stellen wir Euch die neuen Tools vor, die wir bereits benutzt oder ausprobiert haben von Elevenlabs über Heygen zu Suno.

In der dritten Folge „Mit Klonen vertonen“ haben wir unseren ersten Gast, Michael Ivert, und plaudern darüber, wie sich AI ins Synchron-Business vorarbeitet. Zuvor testet Ilka todesmutig am eigenen Leib das Stimm-Klon-Tool Elevenlabs und wird nacheinander unfreiwillig in eine Bayerin, eine Schottin und eine Russin verwandelt, ist aber am Ende auch wider Willen von den möglichen Ergebnissen beeindruckt. „Check it out“, wie meinetwegen Markus Kavka vielleicht sagen würde!

Cartoon Physics

Da hat grade ein Regisseur einen Cosmetics Film mit Hilfe einer AI „nachgedreht“, den er vor einem Jahr mit 30 Mann Team und jeder Menge Realdrehaufwand hergestellt hat. Netterweise hat er an die AI-Version eine Side-By-Side Comparison angehängt vom Original und von der AI Version.

Man kann da jetzt wieder mit dem Profi-Auge draufschauen und konstatieren, dass ja das Original total super individuell und kreativ sei, und dass die AI Version dagegen total generisch sei und ihr die letzten 5% an Rafinesse und Human Touch fehlten, die das Original so fantastisch machen. Das ist das, was verlässlich jedes Mal passiert, wenn ich mit anderen Branchenprofis das Thema diskutiere.

Das kann man noch 100 mal machen, so wie man auch gesagt hat „Digital drehen? Aber nie im Leben für Beauty Filme“. Aber wie oft noch?

Man kann das aber auch abkürzen und sich nur mal so probeweise mit folgendem Gedanken anfreunden:

Generative AI ist so weit. Die kann immer mehr insbesondere von dem generischen Bewegtbildkrempel umsetzen, der 95% dessen ausmacht, was da draußen noch immer mit riesigem Aufwand in die Welt gesetzt wird.

Und, daraus abgeleitet: Der immer kleiner werdende Unterschied zwischen Realdreh und AI Film interessiert mit Ausnahme von uns Branchenprofis wahrscheinlich immer weniger Konsumenten, und das sind diejenigen, für die das produziert wird. Das ist weder Zynismus nach Konsumentenverachtung, das ist eine sich abzeichnende Realität.

Was genau können wir als Producer nochmal? Eigentlich nur zweierlei: Wir können die Kreativen finden, die perfekt eine Idee, ein Skript zum Leben erwecken werden. Und wir beherrschen die Workflows, mit deren Hilfe diese Regie dann aus einem Skript und einem Budget einen erfolgreichen Film macht. Eine dieser beiden Kernkompetenzen scheint mir grade massiv im Umbruch zu sein.

Ihr kennt sicher den visuellen Standard-Witz aus diversen Looney Tunes Cartoons: Wile E. Coyote rast über die Klippe hinaus und rennt noch ein paar Meter weiter in der Luft über einen tiefen tiefen Abgrund, als wäre die Klippe noch da – erst als er sieht, dass er mitten im Nichts schwebt, stürzt er ab. Wenn ich jetzt abschweifen wollte, würde ich einen kurzen Exkurs über das hochinteressante Feld der Cartoon Physics einbauen (Law 1: „Any body suspended in space will remain suspended in space until made aware of its situation.“ etc.)

Das sollten wir aber in der Welt der Commercial Production Physics tunlichst vermeiden: daß wir einfach immer weitermachen als wäre nichts, während unter uns unsere Workflows wegbröseln und wir merken es erst, wenn wir schon mitten in der Luft schweben.

Hervorgehoben

AI Director im Interview: Martin Haerlin

Vor Kurzem noch habe ich darüber halluziniert gebloggt, daß in Zukunft immer mehr Filme von Centauren gemacht werden, wie sie beim Schach heißen: von Kombinationen aus Menschen und AIs. Und dann finde ich doch tatsächlich einen solchen Centaur in meinen Feeds: Martin Haerlin, Regisseur seines Zeichens, der seit einiger Zeit tolle AI Filme und Werbung macht. Den hab ich ruck-zuck gleich mal interviewt für Euch:

SP: Martin, du kommst aus dem klassischen Werbefilm als Regisseur. Was hat dich bewogen, mit AI loszulegen und die Filme zu machen, die du bisher gemacht hast?

MH: Also die wichtigste Zutat um bei KI eingestiegen zu sein dieses Jahr ist, dass man in der Werbung arbeitet und Anfang des Jahres nichts zu tun hatte. Ich habe früher mal programmiert und habe mich wieder darauf zurück besonnen: Ich hab angefangen zu programmieren. In Python, aber auf ’nem Low Level; Habe auch angefangen mich in Machine Learning reinzubasteln, kleine Kurse angeguckt und dann stieß ich auf Runway, diese Plattform die ja Machine Learning basiert ist, und wo du Videos generieren kannst. Damals war nur die GEN 1 verfügbar, wo du Videos re-stylen kannst. Ich glaube, dass mir mein Programmier-Monat am Jahresanfang die Angst genommen hat, mich damit auseinanderzusetzen.  Wäre ich jetzt im Werbesaft gestanden und hätte rund um die Uhr gedreht, dann hätte ich mir die Video KI gar nicht angeschaut.

Und ich konnte plötzlich meine eigenen kleinen Geschichten erzählen, ich musste noch nicht mal nach draußen! Es war einfach fantastisch, und dann kam in Juni GEN 2, wo man Text eingab, und dann ein Video entstand, wie bei Midjourney mit Stills ging das jetzt plötzlich mit Bewegtbild. Dann habe ich da wöchentlich einen Film gemacht, aber auch Stunden am Tag am Rechner verbracht.

SP: Kannst Du beschreiben, wie sich deine Rolle verschoben hat im Vergleich zu einer klassischen Filmproduktion? Hast du ja schon getan, du sagst „du und dein Rechner, das war’s“, oder?

MH: Es ist es ist deutlich weniger glamourös; man sitzt bucklig vorm Rechner und bastelt vor sich hin. Als ich angefangen habe im April, da haben ganz viele Leute Runway schon benutzt, aber es waren eher so die Computer Geeks, und die haben dann die zehn schönsten KI generierten Explosionen releaset.  Das hatte für mich aber erstmal keinen Use Case; es gab kaum jemanden, der Storytelling macht und KI benutzt. Und deswegen konnte ich mit meinen Filmen eine Leerstelle ausfüllen.

Mit anderen Worten: es ist irre wichtig dass man Storytelling kann, sei es als Werbe-Regisseur oder als Spielfilmregisseur, oder als Schriftsteller, und das dann kombiniert mit einem oder mehreren KI-Tools.

SP: Wie wir sehr fehlt dir der Input der anderen Department also Storyboarder, Production Designer, Kamera und so weiter?     

MH: Der Input der klassischen Departments funktioniert im Moment noch nicht in der KI-Welt. Man kann nicht sagen „Ich möchte genau so ein Wohnzimmer“, „Ich möchte genau so ein Licht“ „Ich möchte genau so eine Aktion“.

Sämtliche KI-Plattformen quatschen mit rein und machen ihr Zeug damit. Das heißt, du triffst immer wieder auf Begrenzungen, wo du dich drumrum arbeiten musst. Was aber wichtig ist, ist der Input anderer KI Leute. Ich bin überrascht wie freundlich und unterstützend die KI Community ist vor allem auf Twitter. Ich hab wieder unheimlich viel Input, aber von anderen Leuten. Welche Kamerabewegungen gehen; welche Prompts funktionieren gut; welche schlecht; was kann man ohne viel Aufwand mal eben generieren und was braucht ewig. Das heißt, der Austausch hat sich nur verschoben.

SP: Sind das Leute die wie du einen Regie-Background haben, oder ist das deutlich bunter?

MH: Ich bin einer der wenigen, die da wirklich mit seinem Klarnamen herumhantiert. Die meisten haben irgendwelche Avatare und dementsprechende Namen, aber ich glaube, dass viele aus dem Filmbereich kommen. Art Direktoren, Regisseure, einer kommt von der BBC – schreibt er – ich finde man merkt relativ schnell wo sie herkommen, wenn man deren Arbeiten sieht. Leute die wirklich Storytelling machen, die müssen aus dem Bereich sein. Die setzen sich mit Bildern auseinander. Es gibt aber auch ganz viele die machen Tests, die zeigen dann den Fallschirmsprung, den sie in KI gerechnet haben; und das hat ja auch seine Berechtigung. Ich merke: Soundso könnte man etwas erzählen. Die, die mich faszinieren, kommen wahrscheinlich aus einem ähnlichen Bereich wie wir.

SP: Die Arbeitsteiligkeit ist ja trotzdem komplett verschwunden, wenn du als Chimäre mit deinem KI Tool zusammenarbeitest. Welche der klassischen Rollen gibt’s da zukünftig für dich eigentlich? Gibt es eine Rolle für einen Producer in diesem Setup?

MH: Was ich mach ist wirklich nur auf sehr kleinem Level. Man könnte deutlich bessere KI Filme machen, wenn man im Team arbeitet. Wenn man einen Producer hat, der das kalkuliert. Wenn man einen Kameramann hat, mit dem man was zusammen dreht & das dann restylet; und dann aber auch noch in einem Text to Video Tool die Establisher macht. Eigentlich geht es mir darum zu zeigen, „Hey, KI kann ’ne Menge; Aber bitte nicht ab jetzt alle Spots in KI generieren“.

KI ist ein mächtiges Tool, mit dem man prävisualisieren kann, aber in Zukunft auch ganze Shots ersetzen kann, wofür früher die Kohle oder die Zeit nicht gereicht hat. Du kannst deine Filme viel größer machen; emotionaler, intensiver. Eigentlich gehts mir nicht darum, Departments zu ersetzen, sondern Enhancement durch das KI-Tool zu bekommen.

SP: Gestern bin ich über einen AI Film von Cadmo Quintero gestolpert, der hat klassische Departments mit reingenommen: Sören Görth hat geschnitten, DIE ZWEI haben Musik gemacht, und man merkt sofort den Input der anderen Departments. Das Heavy Lifting übernehmen in diesem Film geradezu der Schnitt und die Musik. Das macht einen Riesenunterschied.

MH: Hab ich gesehen, finde ich richtig toll. Wir haben unterschiedliche Herangehensweisen glaube ich – mir geht es erstmal darum zu zeigen, du kannst es als One-Man-Show schaffen. Ich mach absichtlich Low Tech. Ich hab in meinem letzten Re-Styling-Film absichtlich ein  Stöckchen benutzt, ich hätte auch eine Pistole nehmen können, ich habe aber extra ein Stöckchen genommen und das zu einer Pistole re-stylen lassen, ich will, dass das alles handgemacht aussieht.

Wenn da noch mehr Regie- oder Kamera Kolleginnen einsteigen würden… wir haben alle so einen Vorsprung was Filmsprache angeht, das beeinflusst den Output. Wir wissen wie wichtig Sounddesign ist, wie wichtig ’ne Close und ’ne Weite Einstellung im Wechsel sind, wir könnten richtig tolle KI Filme machen, es benutzen aber noch extrem wenige. Das ist so ein bisschen wie „Don’t Look Up“: Es WIRD kommen. Und man MUSS sich damit auseinandersetzen. Zu sagen „Ich mach’s nicht“, das ist echt gefährlich.

SP: Deinen LowFi Ansatz finde ich persönlich wahnsinnig interessant. Das was Cadmo gemacht hat, ist für mich so das Naheliegendste; das ist so ein Post Production SciFi Future Dystopia Sujet Ding, da werden die Leute vielleicht sagen „Naja, das hätte man früher in 3D gemacht oder in der Unreal Engine, jetzt macht’s halt ’ne KI, wo ist der große Unterschied?“ Aber bei dem, was du machst – das machst du nicht in UnrealEngine. Der Ansatz ist ein ganz anderer. Den finde ich persönlich total spannend weil es einem dieses Gefühl vermittelt „Geil! Let‘s Go! Ich brauch das alles nicht, film film film!“

MH: Genau! Diese Attitude möchte ich rüberbringen. Ich will es nicht als NOCH schwieriger hinstellen. Nicht: „Oha, wenn ihr KI macht, Freunde, daaaaannn langsam…“ Ich veröffentliche auch immer meine Herangehensweise.

SP: Ich habe vor allem Angst davor, dass die Industrie das vereinnahmt und sagt „uh, oh, da brauchen wir jetzt aber erstmal ein halbes Jahr“, und dann ist das wieder so wie beim Switch von Filmmaterial zu digital: du sagst “Geil, ich  muss diese blöden Filmrollen nicht mehr rumtragen und entwickeln und abtasten, Yippie!“ aber dann kommt gleich: du brauchst einen DIT; und du drehst 10x so viel Material; hast doppelt soviel Edit-Zeit etc. Da hat sich der Alte Prozeß gleich wieder so breit gemacht in dem neuen Medium, dass der Unterschied zwischen Alt und Neu sofort wieder verschwunden ist. Also die ganzen Vorteile. Darum finde ich deinen LowFi Ansatz so toll: Das macht Spaß, und das merkt man.

MH: Der Spaß ist dabei wahnsinnig wichtig, dass man andere inspiriert und ansteckt. Dass sich die Industrie da sofort wieder breit macht: Ich hoffe dass das nicht passiert.

Man muss im Moment mit KI noch sehr vorsichtig sein weil es den gesamten Prozeß der Werbung auf den Kopf stellt. Während es bei Werbung immer um Kontrolle ging – Fitting, Abnahme wie das Essen aussieht… Wir versuchen, den Zufall möglichst auszuschließen denn der Kunde hat all sein Geld zusammengekratzt und da soll dann die Schokolade fließen und die Butter schmelzen, und da darf nix schiefgehen. Und das geht mit KI nicht mehr. KI wird das auf den Kopf stellen. Wir müssen uns da mit dem Zufall, der Spontaneität arrangieren. Und ich glaube, dass sich dieser Prozeß in der Werbung durchsetzen wird. Parallel zur üblichen Kontrolle. Sone Marke wie Dr. Oetker wird nicht so schnell auf KI aufspringen; aber eine Lifestyle Marke wie H&M oder Zalando. Wenn ich sehe wie ein Model in Pink gekleidet an einer Tischtennisplatte vor einer grauen Betonwand vorbeiläuft, dann ist das ein Bild, was ich bald in KI umsetzen kann. Und dann kriege ich vielleicht eine Person, wie sie vielleicht nicht ganz im Zalando Katalog zu finden ist; aber sie hat trotzdem was Interessantes. Es wird ein neuer Prozeß entstehen, wo man Spontaneität wieder zulässt und wo man zu den Anfängen der Werbung zurückgeht, wo man einen Künstler engagiert hat und gesagt hat: „Mach uns mal in deinem Style etwas für meine Marke.“ Und da ist dann jetzt eben der KI Künstler, und dem sagt man “Mach doch mal mit deiner KI einen lustigen Film für XY“ Und dann machst du was und zeigst es denen und das ist eine total schöne Vorstellung und Zukunft, auf die ich mich freuen würde.

SP: Bin ich total bei dir. Hast du schon ein kommerzielles Projekt mit KI umgesetzt?

MH: Es kommen wahnsinnig viele Anfragen. Es ist im Moment noch schwierig, weil die immer noch die volle Kontrolle wollen. Ich hatte eine Anfrage einer Versicherung aus USA, die KI sollte da eine Traumsequenz generieren von einem PIXAR-Mädchen, das Fußball spielt. Da habe ich gesagt, den eigentlichen Film muss man normal drehen, aber von der Animation könnte man große Teile wenn nicht alles in KI machen. Da würde ich mich dann hinsetzen und das VOR dem PPM so weit vorbereiten wie möglich, damit man dann nicht erst nachher merkt, dass man die Szene wie der Fuß den Ball kickt gar nicht hinbekommt in KI, was tatsächlich nicht möglich ist. Aktionen sind noch wahnsinnig schwierig.

Ich spreche jetzt beim ADC im November; bin mit einer Argentinischen Agentur am diskutieren. Deutsche Agenturen haben sich wenige gemeldet bisher. Mit Wiedemann & Berg habe ich gesprochen.

SP: Ich beobachte die Reaktionen, da gibt es ein breites Spektrum. Andre Aimaq hat da beispielsweise auf LinkedIn bedauert, dass die Agenturen nicht streiken wie die SAG Darsteller und als Forderung formuliert, dass AI Kreationen als solche gekennzeichnet werden müssten; und am  anderen Ende des Spektrums sind dann Menschen wie du oder der lustige John Finger, der auch dieses Let’s-go-for-it Ding laufen hat – wie siehst du diese Diskussion?

MH: Schwierige Diskussion. Seit Jahrzehnten werden in Hollywood Menschen über VFX dupliziert. In Mittelerde sind nicht 40.000 Orks gerannt, und der Film ist 25 Jahre alt. Es gab da schon immer Tricks. Die SAG Geschichte – so wie ich sie verstehe – ist, dass es darum geht, dass Komparsen von KI ersetzt werden.

Ich hab neulich mit einem Synchronsprecher dieselbe Diskussion geführt. Meine Kinder haben mal Synchronsprecher 2 Sätze für Netflix gesprochen. Sowas wird ziemlich sicher von KI ersetzt werden. Da muss ich aber auch sagen: Da geht kein Kunstform flöten. Das waren Teenager, keine Synchronsprecher auf einem hohen Level. Die werden in absehbarer Zeit nicht ersetzt werden. Die ganzen Nuancierungen kannst du so nicht Prompten. Das gleiche gilt für Schauspielerei. Wenn Komparserie verschwindet, verschwindet auch da keine Kunstform, sondern ein total netter Nebenjob.

Menschen können nur von Menschen gespielt werden, wenn sie eine emotionale Rolle haben, aber wenn man 20.000 Menschen zeigen will, die mit Schwertern herumrennen, dann kann man natürlich KI benutzen. Da verschwinden Jobs, die vor 120 Jahren auch im Handwerk verschwunden sind.

Du kannst auch jetzt einen handgewebtem Teppich aus der Manufaktur haben, aber auch einen Teppich von IKEA.

Und dasselbe wird es auch bei uns geben: Handgefertigte Filme von toller Crew gemacht; oder maschinengemachte Filme und Kreation. Das wird in diese zwei Kategorien zerfallen.

SP: Hast du Empfehlungen wo man dranbleiben sollte?

MH: Jon Finger ist toll.  Nikolas Neubert hat einen tollen Trailer gemacht, Christian Fleischer hat einen der ersten Gen2 Filme gemacht: THE GREAT CATSPY. Als ich das gesehen habe war ich so begeistert. Auf Twitter gibt es eine tolle Community, unbedingt einen Account holen. Aber, Rückfrage, wie siehst du das denn mit KI & Jobs ersetzen?

SP: Der kommerzielle Druck, das umzusetzen, was möglich ist, ist so groß, dass du dich nur entscheiden kannst, mitzumachen oder den Laden abzusperren. Wir als Werbefilmproduzenten sind überhaupt nicht in der Position, da Forderungen aufzustellen. Das klingt vielelicht defätistisch, aber wir drehen unsere Werbefilme auch im  Ostblock, weil da der Oberbeleuchter nur die Hälfte kostet. Das ist so. Das kann man Scheiße finden, aber man kann sich nur entscheiden, da mitzuspielen oder raus zu sein. Das muss man sich natürlich immer wieder neu fragen: „Mach ich DABEI dann auch noch mit, oder lasse ich’s dann lieber sein?“

Ich glaube, das wird sich verschieben, das Nicht Ersetzbare wird immer weniger werden – was muss man mit echten Menschen machen? Immer weniger. Das frisst sich ja schon von unten in unsere Departments rein. Stock Footage, Moodscouts, Storyboards, in die Kreation selbst – JVM hat grade eine KI Hyundai Kampagne gemacht. Das kommt aus allen Richtungen auf uns zu. Und die wirtschaftlichen Incentives, das zu machen, sind so stark, wie wir’s beim Switch zu digitalem Drehen erlebt haben, und das in Potenz. Da geht’s nicht darum, dass man jetzt 1.500 Euro für eine Abtastung spart. Da geht’s darum, dass man bestimmte Filme so macht, so wie Martin Haerlin sie jetzt schon macht, nämlich als One-Man-Show in einer Woche am Rechner. Mit einer guten Idee und einer guten KI und Feierabend. Da brauchste nicht nach Kapstadt weil das Wetter da schön ist im Winter.

MH: Was jetzt easy geht ist: du kannst jetzt einem Weingut einen 30-Sekünder über Trauben im Herbst machen. Das würde dich eine Stunde kosten, und die können das auf ihre Social Media Seite stellen. Man kann also jetzt auch Filme machen für alle die, die sich bisher keine Filme leisten konnten.

SP: Ich glaube diese positive Vision gibst da auch, dass sich da ganz viele neue Arten ergeben werden, mit denen man sein Geld verdienen kann. Es wird Zugang geben für Leute, die vorher keinen Zugang hatten. Die Location Scout geworden sind, obwohl sie vielleicht ein besseres Auge haben als mancher Kameramann. Da werden die Karten neu gemischt. Und es werden Jobs entstehen, die wir uns noch nicht vorstellen können, genau wie sich die Pferdekutscher den Tankwart noch nicht vorstellen konnten.

MH: Ich bin nach wie vor verblüfft wie klein das Interesse aus Deutschland ist.

SP: Ich hab’s am eigenen Leib erfahren. Ich hab THE GERAT CASTPY gesehen und gedacht „Also jetzt schlägst dreizehn“. Das habe ich allen geschickt, die mir einfielen und hab geschrieben: „Ihr MÜSST EUCH DAS ANGUCKEN. So in Stresser-Großbuchstaben. Das wird sowas von unser aller Business umschmeißen…“ Ich habe eine einzige Reaktion bekommen von einem anderen Producer, der schrieb: „Naja, da musste ja noch 150.000 reinstecken damit das wirklich gut aussieht, das wird niemals was werden“.

MH: Das ist so wie man immer dachte dass ein Computer so groß sein muss wie ein Wohnwagen.

SP: Ja, die Beharrungskräfte, ich weiß nicht ob aus Angst oder aus Betriebsblindheit, die sind da doch sehr stark. Wo ist eigentlich die erste AI Filmproduktion? Naja, ich hab sie ja auch noch nicht aufgemacht… Aber DU machst das! Darum Kudos nochmal dafür, das macht viel Spaß, ich bleib da dran. Danke nochmal für das Gespräch!

MH: Danke Dir!

Arbeitsteilig

Einen Location Scout hatte ich mal mit dem shooting board zum scouten geschickt, und der hat aus reinem Spaß an der Freud schonmal den gesamten Film vorgedreht auf den Locations, die er vorgeschlagen hat. Er war dann ganz geknickt, als wir stattdessen in der Studiostraße in Babelsberg drehen mußten, weil für ihn der Film eigentlich schon fertig war. Kennt ihr bestimmt auch, solche Leute: Filmemacher durch und durch, die eigentlich nur aus Zufall in ihrem Department gelandet sind, die es aber in sich tragen, ganze Filme in ihrem Kopf und manchmal auch in echt schwuppdiwupp einfach fertigzumachen.

An diesen Scout mußte ich denken, als mir neulich dieser Film von JON FINGER begegnet ist.

Wer sich das anschaut und nicht denkt: „Wow! Will ich auch!“, der ist auf jeden Fall nicht aus derselben Abteilung wie mein Scout damals. Mir macht das wahnsinnig Spaß, diese (natürlich gefakte…) Unmittelbarkeit, diese Idee, man könne mit Hilfe von AI Tools einen Film erschaffen so, wie man früher seinen Freunden auf dem Schulhof eine Geschichte vorgeturnt hat. Was ergäbe das, konsequent weitergedacht, für einen Spitzenworkflow! Erst recht dann, wenn man unseren realen Workflow dagegenhält, der ja wirklich gern mal das Gegenteil davon ist: Überkompliziert, langsam, und seeehr seeehr arbeitsteilig.

Wie arbeitsteilig wollen wir denn sein, muß man sich doch regelmäßig fragen. Na klar ist der Input von den Profis aus den einzelnen Departments super. In den Kommentaren unter Jon’s Film stapeln sich deshalb auch die erwartbaren Reaktionen im Sinne von „Nichts wird je einen guten Storyboarder/ Art Director / DOP ersetzen, etc., gnagnagna“. Aber mal ehrlich, kennt ihr nicht auch dieses Gefühl der Ermüdung, das einen anpackt, wenn man denkt: „Woo-ha, 4 Tage 14 Stunden drehen, 70 People am Set, 2 Monate Post, und das alles für 60 Sekunden Film?“

Bei den Regisseur*innen kennt ihr sicher auch die beiden Enden des Arbeitsteiligkeits-Spektrums: Die eine, die immer vor dem Monitor sitzt und sagt: „Schon ganz geil, aber können wir noch eine drehen“? Wo man sich unwillkürlich fragt ob sich heimlich die Agentur-Kreative in den Regiestuhl geschmuggelt hat? Und am anderen Ende der Skala der Roberto Rodriguez Style Regisseur, der unabgesprochen mit einer eigenen Mühle am Set auftaucht und schnell selbst mal noch ein paar alternative Takes dreht, kann man ja immer gebrauchen, ihr werdet mir dankbar sein im Schnitt! Der einen im Prep schon so sehr mit Detailgesprächen zuballert, daß man ihm am liebsten alle Jobs auf der Produktion anbieten möchte inklusive dem der Produktionsleitung?

Anyways, ich möchte gar nicht auf „Wir werden alle unseren Job verlieren“ Szenarien rumreiten. Auch das pixelschubserische Qualitätsgejammer anläßlich von Jon’s Film – „Ja, aber das wird dir kein Kunde jemals so abnehmen, weil a,b,c“ kann ich mir selber ausdenken, merci bien.

Ich finde es beim Zuschauen in erster Linie inspirierend & herzerfrischend, welche Möglichkeiten sich hier aufzeigen für einen alternativen, schnelleren, spontaneren Workflow – direkt aus dem Kopf von jemandem, der sich einen Film ausdenkt, schwuppdiwupp zum fertigen Film.

Oder?

Do Producers dream of AI enabled films?

Consumer können mehr und mehr selbst zu Producern werden, wie ich’s neulich schon bebloggt hatte. Sie müssen dafür nicht gleich ganze Filme from scratch produzieren, sie können sich zukünftig auch anhand bestehender Filme aussuchen, wie, auf welchem Level und in welchem Department sie gern in einem Film eingreifen und ihn auf diese Weise neu oder mitproduzieren wollen. Sie können sich gewissermassen so Film School mässig von der Seite des fertigen Films her an das Produzieren heranrobben.

Ich zum Beispiel verabscheue ja den seifigen und einschläfernden Vangelis-Soundtrack zu BLADE RUNNER. Das Netz ist voll von sehr emotional geführten Debatten dazu – mir versaut er tatsächlich den kompletten Film.

Die Producer’s Notes, die Ridley Scott nach seiner 3. Schnittfassung zu lesen bekam, fragten unter anderem nach „more tits“, und schon im ersten Satz: „Where is the Vangelis Music“? Die haben sie leider am Ende bekommen. Wenn ich jetzt aber in naher Zukunft Ridley Scott rächen und den Soundtrack einfach austauschen könnte: „Hey AI, unterlege mir bitte BLADE RUNNER mit einem Soundtrack im Stil der Talking Heads“? 

Zunächst hab ich ja gedacht, daß uns demnächst AI mit Reglern beim Produzieren hilft, also etwa Midjourney mit speziellen Reglern, an denen ich Brennweite, Einstellungsgröße und soweiter finetunen kann. Aber vielleicht ist es genau so spannend, wenn es analog zum Sound und Farb – Reglern an der Glotze ein paar zusätzliche AI Regler gäbe wie den „Wes-Anderson-Style-Regler“; den „Hauptdarsteller“- Regler; den „Synchronsprache“-Regler?

Das passiert ja eh bereits massenhaft, die Travestie bestehender Filme ist ein riesiges Sub-Genre des generativen AI Outputs. DUNE im Stil von Jodorovsky (der tatsächlich mal einen Anlauf dazu unternommen hatte). ALIEN im Stil von Stanley Kubrick. Und JEDER DENKBARE FILMTITEL im Stil von Wes Anderson, natürlich. Das ist beileibe nicht ohne Vorbilder aus der Vor-AI-Zeit: Der Kern des Erfolgs von NETFLIX beruht auf NETFLIX‘ Fähigkeit, Travestien und Genre-Remixes nach Uservorlieben herzustellen: „Die User gucken am liebsten Politthriller und Kevin Spacey? Dann produzieren wir ihnen einen Politthriller mit Kevin Spacey!“ Aber AI ist jetzt auf dem Weg, mehr und mehr dieser eigentlich originären Producer-Tools an die Consumer selbst auszulagern. 

Schauen wir uns das auf Basis bereits existierender Filme an. Was daran macht AI auf einmal „anfassbar“ für uns Consumer? Nehmt mir für einen Moment bitte einfach ohne weitere Link-Belege ab, daß das alles bereits erkennbar möglich ist mit AI Consumer Tools, und daß da nur noch jemand rasch ein Frontend mit ein paar Reglern entwickeln müßte bitte, an dem man all diese Faktoren gleichzeitig tweaken kann, und die AI spuckt ruckzuck nach zwei Stunden Rechenzeit einen neuen Film aus:

_Darstellerauswahl: Niemand braucht mehr MoCap, das geht auf Basis von bestehendem Video Material. Also Hauptrollen austauschen. Nebenrollen austauschen. Alle Darsteller sollen Männer sein. Frauen. Frösche.

_Musik: Easy. Ging ja schon vorher, aber jetzt trennt einem die AI auf Wunsch die einzelnen Instrumental-Spuren; das Voice Over von der Musik und den Sound FX. Also anderer Komponist; nur Instrumentals; Orchesterversion statt Surfgitarre… Das kommt als erster AI Regler sobald die Rechtefragen geklärt sind, Wetten werden noch angenommen.

_Sprache & Sprecher. Gedubbt haben die Produzenten schon früher, aber jetzt können wir’s selbst. Und die AI trennt nicht nur die Spuren dafür, sie generiert nicht nur neue Stimmen, sie passt auch die Mimik & Mundbewegungen der Darsteller an die gesprochen Sprache an. Also Saturday Night Fever mit meiner Stimme für John Travolta, und alle anderen Stimmen von Olivia Newton John.

_Art Department: Eigentlich einfacher als MoCap. Also alle Möbel sollen bitte Art Deco sein. Philipp Starck Design. Giger.

_Styling: Alle tragen Kaftane. Oder nichts. Taucheranzüge. 20er Jahre Klamotte. 

_Location: alle Strassenszenen & Häuser Exteriors Hong Kong statt Detroit. Der Wald wie in Neuseeland. Dänemark. Ägypten.

_Framing: AutoFill machts möglich, ich habe schon völlig sinnbefreite erste AI Versionen von BladeRunner im Hochformat gesehen, aber hier geht’s ja nicht um meinen eigenen Geschmack, also bitte 9:16 für alle die das interessiert, was ich lange Zeit nicht glauben konnte, scheint aber so’n heißes Ding zu sein mit dem senkrecht gucken.

_VFX: Mehr so STUDIO GHIBLI, weniger so AVENGERS… 

_Und natürlich alle Kombinationen aus den obigen Beispielen und diverse andere Details, die Leuten wichtig sind. 

Ein Beispiel gefällig? Bittesehr, hier kommen die

AI Producer’s notes von Stephan Pauly zu Ridley Scott‘s BLADE RUNNER 

Schon ganz gut, aber ich hätte da gern noch folgende Änderungen:

Hauptrolle: vielleicht mal mit Christopher Walken aus ca. 1985 besetzen (weil Harrison Ford einfach nicht gleichzeitig Indiana Jones, Han Solo und Deckard sein kann); Bösewicht: Clark Gable statt Rutger Hauer (weil Rutger Hauer eh super ist, aber ich hab schon lange keinen guten Film mehr mit Clark Gable gesehen. Wie, schon tot? Das ist doch der AI egal!) 

Aspect Ratio: Finger weg, die bleibt natürlich in 2.39:1 Cinemascope, ihr Banausen!

Art Department: alle visuellen JAPAN Referenzen in VIETNAM Referenzen umwandeln (weil der JAPAN Takeover der Welt eindeutig eine 80er Jahre Idee ist, die nie so richtig eingetreten ist, und ich einen VIETNAM – Takeover der Welt interessanter fände) 

Autos, Flugobjekte und Gebäude bitte von LUIGI COLANI designen lassen (schlicht weil’s lustig wär)

Sprache bitte mal in Südafrikanischem Englisch (siehe oben)

Musik bitte wie gesagt von den Talking Heads, gerne im Stil meines Lieblingsalbums „Remain In Light“, aber ohne Vocals.

Im Ernst: All das rauscht doch einem Filmproduzenten täglich durch die Rübe, und nicht „more tits and Vangelis“ – so jedenfalls meine romantische Vorstellung von einem Filmproduzenten, und bald kann er sie es tatsächlich einfach ausprobieren! Der irre Twist ist ab jetzt allerdings, daß das auch für uns Consumer gelten wird. Mal alle technischen und rechtlichen Fragen außen vorgelassen, gibt es einen Markt für solche customizable Filme? Ach, mir doch egal, ich möchte eigentlich nur tagelang mit meinen neuen AI Reglern an BLADE RUNNER rumspielen, aber vielleicht bin ich auch nur ein wenig anders als die anderen kleinen Kinder auf dem Spielplatz.

Welchen Film würdet ihr euch vorknöpfen?

Und an welchen Reglern möchtet ihr gern drehen können?

Gehen Sie bitte weiter, hier gibt es nichts zu sehen.

Ich hab mich neulich mal beschwert darüber, daß ich ständig Roboter-Bilder sehe, die AI-Beiträge illustrieren und dort die AI verkörpern sollen, und das auch noch auf LinkedIn. Immer eine schlechte Idee, Streit auf LinkedIn anzufangen. Diesen habe ich eindeutig verloren: am Ende wurde ich aufgefordert, halt eine bessere AI-Allegorie vorzulegen – „touché“! Wir wissen immer mehr darüber, was generative AI produzieren kann. Wir haben aber weiterhin keinen blassen Schimmer, wie wir uns generative AI vorstellen sollen, wir haben kein Bild davon, und so greifen wir ständig auf die ältesten Klischees zurück, die man sich denken kann. Soviel übrigens zum Thema „AI reproduziert ja immer nur das, was sie schon kennt, woran sie trainiert ist, da kann ja nix Neues bei rauskommen“: uns Fleshbags („Trollhunters“, 2016) geht’s da ganz genauso.

Etwas, das so menschenähnlich mit uns interagiert wie ChatGPT, das muß doch aussehen wie ein Mensch! Ist ja auch nicht einfach, erst recht nicht, wenn man nur schnell eine einleuchtende Illustration für einen Linkedin Beitrag braucht. Natürlich wollen wir in die bildlichen Repräsentationen immer einen Reminder auf die Maschinenherkunft der AI einbauen. Wie soll da keine humanoide Blechkiste bei rauskommen?

Grob gesprochen sind 95% aller Versuche nur Variationen über die Robots aus „All Is Full Of Love“ (1997), die Chris Cunningham übrigens selbst entworfen hat – sein Musikvideo ist zu Recht in der Ständigen Ausstellung des MoMa gelandet. Die Robots unterscheiden sich ja von Maria, Fritz Langs Roboter aus Metropolis (1927), dem Vorbild für Lucas’ C3PO, nur im Style, sie sind 90ies slick, weiß und gefühlt Japanese statt expressionistisch, aber eben nicht grundsätzlich: humanoide Blechkisten auch sie. Da ist also nicht wirklich viel passiert in hundert Jahren, könnte man sagen.

Zugleich ist das ja geradezu rührend hilflos. Diese ganzen Robots sollen uns trotz allen Alien-Terminator-Transformer-Schauers eine gewisse Sicherheit bescheren dahingehend, daß immer noch ein menschenähnliches Gegenüber mit uns interagiert; ein Gegenüber, wie wir uns uns selbst immer vorstellen, als Individuum, als eine abgeschlossene Entity.

Spätestens da kippt dann das Falsche ins Fahrlässige, weil wir uns auf diese Weise nur vor der Erkenntnis verstecken, daß es da eigentlich nichts zu sehen gibt. AI ist eben kein Individuum, AI ist nicht EINS. Kevin Kelly („The Inevitable“, 2016) knows best, Leute: „Conventional wisdom held that supercomputers would be the first to host (ai), and then soon enough, we’d add consumer models to the heads of our personal robots. (…) However, the first genuine AI will not be birthed in a stand alone supercomputer, but in the superorganism known as the net. (…) The AI on the horizon looks more like Amazon Web Services.”

Achtung, anschnallen bitte für den weit hergeholten Vergleich: Ein paar der monotheistischen Religionen haben es geschafft, die Idee eisenhart durchzuziehen, dass man seinen Gott nicht darstellen, ja, ihn sich nicht einmal VORstellen dürfe. Die Christen haben da zwar „jaja“ gesagt, „du sollst dir kein Bildnis machen“, aber dann haben sie Michelangelo et. al. rangelassen. Das sollten wir in Sachen AI vielleicht vermeiden, ein Gott mit Rauschebart ist eigentlich genau so daneben wie AI als Roboter. Lasst uns stattdessen mal den Mut haben, uns AI nicht zu visualisieren (was ja für uns Werbefilmmenschen eine ganz besonders schwieriges Projekt ist), zumindest nicht mehr als Chris Cunningham Roboter, bitte.*

Die meines Erachtens beste Analogie stammt erneut von, ihr ahnt es, Kevin Kelly: in der industriellen Revolution haben viele Unternehmer ein Vermögen gemacht, indem sie bekannte Produkte elekrifiziert haben: Ein Bügeleisen, aber mit Strom. Ein Rührgerät, JETZT NEU! Mit Strom etc. Den Strom dafür haben sich diese Erfinder-Unternehmer besorgt als vorfabrizierte, unsichtbare, netzbasierte Ressource, jederzeit anzapfbar. Mit unseren aktuellen Tools passiert gerade dasselbe: Photoshop, jetzt mit generativer AI. Und die bleibt, wie zuvor der Strom auch, unsichtbar.

Schaut Euch mal den TED Talk von Imran Choudhri an, der jahrzehntelang Designer bei Apple war. Seine Vision für eine neues Tool, mit dessen Hilfe wir mit AI interagieren können, ist in allem das Gegenteil der Facehugger-Apple Brille. AI wird uns, wenn man Choudhri folgt, garantiert nicht als Roboter entgegentreten; seine Vision ist vielmehr „technology needs to disappear – to re-allow us to be present“. Für mich so viel sympatischer als alle anderen Techonlogie-Ansätze, die ständig etwas Neues basteln, das sie zwischen mich und die Welt schieben wollen (Screens vor oder in meinem Gesicht, Kopfhörer in meinen Ohren, Kabel im Gehirn etc.) Choudhri hat stattdessen ein minimalistisches wearable device entworfen, das uns als Interface dienen soll, um uns AI als eine Art persönlichen, sprechenden Assistenten zur Seite zu stellen. Da gibt es literally nichts zu sehen – weniger Roboter ist kaum denkbar.

*PS: An einigen Reaktionen habe ich bemerkt, daß ich da vielleicht eine falsche Fährte gelegt habe: Ich wollte überhaupt nicht andeuten, AI habe übermenschliches, gar göttliches Potenzial. Noch sind WIR ja diejenigen, die etwas nach unserem Bilde geschaffen haben, nicht umgekehrt. Ich wollte lediglich darauf hinweisen, daß es eine solide kulturgeschichtliche Leistung ist, nicht immer alles gleich zu anthropomorphisieren, und daß man sich daran auch in Sachen AI halten sollte, auch wenn es einem dann schwerer fällt, LinkedIn Beiträge zu illustrieren.

Der „Einmal volltanken, bitte!“ – Effekt*

Mein VW fasst 65 Liter Superbenzin. Jetzt möchte ich natürlich auch gern mitmachen beim Klima retten. Weniger oder gar kein Auto fahren? E-Auto fahren? Immer nur einen halben Tank verbrauchen im Monat statt eines ganzen? Oder vielleicht doch E-Fuels, die sauber hergestellte Superbenzin Alternative! Denn damit mache ich genau das, was ich vorher auch gemacht habe: Ich tanke alle 3-4 Wochen meine Karre voll, nur eben mit angeblich sauber hergestelltem Sprit. Das Format „Auto“ und mein Umgang damit bleiben komplett unverändert, auch wenn ein neuer Treibstoff daherkommt. Und natürlich erwarte ich, dass es dasselbe kostet wie vorher.

Mal sehn wie weit uns diese holperige Analogie trägt… Ich frage mich halt grade, ob unsere Autos, quatsch, unsere Formate, unsere Arbeitsprozesse, nicht vielleicht mächtiger, zäher und langlebiger sind als die Inhalte und die Methoden, mit denen wir unsere Arbeit machen, und was das alles mit – NATÜRLICH – dem neuen Supertreibstoff AI zu tun hat.

An unseren Mood-Scouts kann man grade den „Einmal volltanken, bitte“-Effekt beobachten: Das Format „Moods suchen“ scheint deutlich robuster zu sein, als sämtliche potenziell ja revolutionären Innovationstendenzen der generativen AIs, die sich in dieses Format einschleichen.

In den Händen dieser Artists richtet generative AI zwar deren Arbeitsweisen neu aus und verändert sie radikal – vom Moodscout zum Prompt Artist – aber ihre Auslastung ist dabei nicht grundsätzlich in Frage gestellt. Das macht jetzt nicht auf einmal die Inhouse Praktikantin „weil das ja mit AI jetzt so einfach geht“. Und weniger wird die Arbeit auch nicht: die Regisseurin, der sie zuarbeiten, ist nicht auf einmal nach 10 AI-generierten Bildern und zwei Arbeitsstunden seitens Moodscout-Gone-Prompt Artist schon happy und sagt: „Ach, wie geil sind denn diese Midjourney Bilder, viel geiler als die immergleichen aus dem Netz zusammengeklaubten Moodbilder, ich habe eigentlich alles was ich brauche.“ Und die Mood Scouts selbst werden alles dafür tun, das nicht aus der Hand zu geben. Sie sind natürlich dabei, sich AI als weiteres Tool anzueignen, damit sie weiterhin möglichst viel ihrer Arbeitskraft auf dem Markt verkauft bekommen.

Zu erwarten, dass sich Effizienzgewinne in weniger Leistung oder weniger Arbeit niederschlagen ist also wahrscheinlich blanker Unsinn. Die Arbeit wird nicht weniger.

„Die 4-Stunden-Woche“ von Timothy Ferris etwa, ein großer Beschiß, wie die meisten dieser „Mehr Zeit, Mehr Geld, Mehr Leben“ Besteller, das ist im vollen Ernst der Bestseller-Untertitel! Natürlich hat Ferris selber nie vier Stunden die Woche gearbeitet mit seinem irren Output an Podcasts, Büchern, Nahrungsmittelergänzungen etc. Vier Stunden die Woche für dieses Buch vielleicht, aber in Summe bestimmt 120 Stunden die Woche… John Maynard Keynes‘ Prognose aus 1930, daß aufgrund der großen Effizienzgewinne neuer Techniken in 2030 jeder nur noch 15 Stunden die Woche arbeiten werde – komplett naiv, da lag der Jahrhundert-Ökonom genau so sehr daneben, wie der Lebenshilfe-Autor. Ja, es arbeiten alle mit viel mehr & besserem Output, aber eben immer mindestens noch genau so viel, und wenn sie weniger arbeiten sollten, dann nicht wegen der Effizienzgewinne neuer Techniken. Sondern weil man sich das mühselig erstritten hat mithilfe von so unsexy Erfindungen wie Gewerkschaften und so.

Was die Frage aufwirft, bei wem eigentlich die Effizienz- und Qualitätssprünge ankommen, die generative AI ermöglicht. Denn es ist ja etwas qualitativ anderes, was die AI ermöglicht, das ist schon deutlich näher dran an bisher sehr mit viel mehr Aufwand und möglichst nicht schon im Pitchprozess hergestellten Style Frames, für die spezielle Artists noch vor nicht allzulanger Zeit 600-800 Euro am Tag bekommen haben. Nicht für 50 Bilder, sondern für ein bis zwei. „Ah, super daß wir jetzt wegen AI x-fach so präzise und x-fach so viel Zeug als Moods bekommen, aber bitte zu denselben Konditionen wie vorher eine Mood-Recherche natürlich!“ Jedenfalls landen sie nicht bei den Moodscouts. Nicht bei den Produktionen, die immer noch den Moodscouts dieselbe Anzahl an Tagen bezahlen. Hmmm, ja wo denn dann? Wie hat grade Charlie Warzel im ATLANTIC geschrieben: „In a world where the cost of producing content (…) approaches zero, it stands to reason that the forces of capitalism would respond by demanding as much of it as possible.“ Exakt. Und wir liefern natürlich, because that’s what we do.

Anders gesagt: Die neuen Techniken reduzieren nicht die Arbeit, nur die Kosten für Arbeit. Die Arbeit wird nicht weniger, der OUTPUT wird mehr & besser. Der Tank wird immer noch vollgemacht, weil eben so viel reinpasst, jetzt mit dem besseren Benzin. Vielleicht müssten wir den Blick von Effizienzsprüngen auf Qualitätssprünge richten: zu denselben Konditionen gibt es jetzt genauere, bessere, hochwertigere Moods. Wenn das für alle anderen Regisseure, Producer, VFX Artists etc. auch gilt, die sich da aktuell durch AI zu Freuds Prothesengöttern aufrüsten, und wenn wir all diese Verbesserungen an Output und Qualität zum selben alten Preis an die Kunden durchreichen, dann bekommen die zum selben Preis ein deutlich besseres Produkt. Da müßte man vielleicht mal drüber sprechen; zumindest müßte es erstmal einer relevanten Anzahl an Menschen auffallen & die müssten das irritierend & thematisierenswert finden.

Das könnte, positiv bertrachtet, auch ein Hinweis darauf sein, daß gar nicht alle Jobs wegfallen werden wie in den gern bemühten Warn-Horror-Szenarien zu zukünftigen AI-Umkrempelungen, sondern daß sich stattdessen alle mit AI aufrüsten, um mehr und einen besseren Output bieten zu können, aber trotzdem immer noch dieselbe Menge Manpower zu verkaufen. Das Problematische an AI ist also wahrscheinlich nicht in erster Linie die SKYNET Dystopie, oder daß viele Menschen ihre Jobs verlieren werden (auch wenn Goldman Sachs sagt, immerhin keine esoterische Hippie-Bude, daß im nächsten Jahrzehnt jeder 11. oder 300 Millionen Jobs ausgelöscht werden durch AI). Das Problematische ist eher, nochmal Charlie Warzel: „The easier our labor becomes, the more of it we can do, and the more of it we’ll be expected to do.“

Soweit teilen wir Filmhasen also wohl nur die AI-Zukunft mit all den anderen White Collar Arbeitsbienen da draußen. Oder gibt es für uns darüber hinaus noch eine sehr spezifisches Szenario, das wir im Auge behalten sollten? Der „Bitte einmal Volltanken“ Effekt ist in dem Moment unser kleinstes Problem, wenn generative AI so machtvoll wird, daß sie den Anspruch erheben kann, unser komplettes Produkt zu liefern, komplette Filme zu machen. Der Prognosen-Wettbewerb ist da im vollen Gange: „Wir werden die erste AI-generierte Nextflix Produktion in 12-18 Monaten erleben, den ersten AI Hollywood Film bis 2028 etc. etc.“

Bei den Architekten oder den Modeschöpfern ist das anders, da übernimmt AI „nur“ das Entwerfen, gebaut und geschneidert werden muss weiterhin. Text-To-Video AI macht dagegen erste Gehversuche darin, nicht das Konzept oder das Art Department eines Filmes zu ersetzen oder mit neuen Tools auszustatten, sondern den gesamten Film zu generieren.

Vielleicht ist generative AI also gar nicht nur der neue Supertreibstoff, den wir demnächst in unseren Filmproduktionstank packen, vielleicht ist generative AI die neue Filmproduktion. Bleibt spannend.

*P.S.: Wenn ich Wirtschaft studiert hätte, stelle ich grade beim Weiterlesen & -nachdenken fest, hätte ich mir nicht selber so eine maue Analogie ausdenken müssen & sie den „Einmal Volltanken Effekt“ nennen müssen. Ich hätte einfach sagen können: Klarer Fall von Jevons Effekt! Jevons Effekt? England war im 19. Jh das Saudi Arabien der Steinkohle mit der Sorge, was wohl passieren werde, wenn die Steinkohle mal alle ist. Schlaue Ingenieure argumentierten, das sein kein Problem, weil der technische Fortschritt zu effizienteren Maschinen und damit zu weniger Kohleverbrauch führen werde. Der noch schlauere Ökonom Jevon argumentierte dagegen, daß effizientere Maschinen zu MEHR Kohleverbrauch führen würden, weil sie die Kosten des Kohleverbrauchs senken würden. Wenn der Preis sinkt, steigt die Nachfrage, und mit der Nachfrage steigt der Konsum. Von Kohle, wie auch von AI powered White Collar Arbeit. Und genau das wird passieren! Der Preis für unsere Arbeit + AI wird sinken – anders betrachtet, wir werden für unsere per AI supercharged Arbeit dieselbe Kohle bekommen, wie wir sie vorher ohne AI bekommen haben. Und der Preis für Arbeit, die nicht per AI veredelt wird, wird ins Bodenlose fallen. Nicht in der Krankenpflege, und nicht im Straßenbau, aber bei uns.

Sky Captain and The World Of Tomorrow

Anfang der 2000er ging die Saga um bei uns Filmschaffenden, da habe jemand, Kerry Conran war sein Name, vier Jahre lang zuhause an seinem Mac einen kompletten Film vorvisualisiert, den er dann in Hollywood finanziert bekommen habe, von einem Neffen von Dino DeLaurentiis himself. Am Ende hat den Film Paramount rausgebracht, nachdem die Produktion 70 Millionen Dollar verschlungen hatte. Und wir alten Musikvideo-Burschis haben uns damals enttäuscht gefragt „Ja verdammt, wenn er ihn doch schon hatte, seinen Film, warum hat er ihn dann dem doofen Hollywood-System zum Fraß vorgeworfen?“ Hatte er nicht bewiesen, daß er das Potenzial hatte, den gesamten Film als Chimären-Team selber zu machen, er und seine Maschine? Warum hat er sich dann von dem verdammten System schlucken lassen, um bei einem Film mit puuuhhh… Jude Law! in der Hauptrolle gnädig Regie führen zu dürfen, nur damit der dann am Ende als Box Office Flop galt, weil er nur 60 Millionen eingespielt, aber 70 Mio gekostet hatte? Wie zum Teufel konnte das dermaßen schief gehen?

Da war mir zum ersten Mal die Vision begegnet davon, daß ein Mensch einen Film komplett selbst machen könnte, genau so, wie man sich auch hinsetzen und ein Buch schreiben kann alleine. Was davon in den Klauen von Hollywood übrig geblieben ist, war der Ansatz, den Film komplett am Rechner entstehen zu lassen (mit Ausnahme der Darstellerinnen, die in weniger als 30 Tagen abgedreht waren), aber eben nicht auf dem Rechner von Kerry Conran, da hatte sich Hollywood schon drübergestülpt und ihm das aus den Händen genommen. Und der Film war dann am Ende eher so „meeh…“, wobei natürlich zugegebenermaßen niemand weiß, ob er’s alleine besser hinbekommen hätte.

Andererseits, truth be told, war es eben auch so, daß Kerry das Anfang der 2000er tatsächlich auch nicht auf seinem Rechner hätte machen können, dafür war zwar die Hardware schon beinahe da, aber eben die Software noch nicht, auch wenn ein Großteil des workflows revolutionärerweise tatsächlich auf „Quasi-Consumer-Tools“ wie After FX & Final Cut aufgebaut war, und auch die Darsteller hätte er nicht selbst ranschaffen können (Aber Jude Law? Oh Mann.)

Interessanterweise hat sich Kerry nach den „schlechten“ Box Office Zahlen bei seinem Produzenten über die Produktionskosten von angeblich 70 Millionen beschwert: Er hätte das Ding für 3 Mio mit No Names hinbekommen, hat er ihm vorgehalten. Hätte hätte, Fahrradkätte, sag ich da.

Ihr seht: die Geschichte der diversen digitalen DIY-Euphorien läßt sich immer auch als eine Geschichte des Scheiterns erzählen, als Geschichte davon, wie diese Euphorien und die sie ermöglichenden technischen Innovationen von den bestehenden Produktions- und Verwertungsstrukturen aufgesaugt und zum Ausspucken von noch mehr, jetzt eben anders hergestelltem Schrott verwurstet werden. Es führt eine direkte Linie von Kerry Conrans oder Roberto Rodrigos One-Man-Show Rebellentum (Rodrigos Buch heißt „Rebel without a crew“, Lesebefehl! Genau wie Conran hat Rodrigo mit SIN CITY einen der ersten komplett vor Grün gedrehten Filme in Hollywood gemacht) zu den MARVEL Sequels, vom Anspruch, seinen eigenen Film ganz allein mit den aktuellsten digitalen Möglichkeiten umzusetzen hin zu einer im Kern toten 350 Mio Blockbuster-Orgie wie Avengers Endgame.

Worauf ich hinaus will, wollt ihr sicher wissen?

This time will be different (maybe)! Ich glaube fest daran, daß dieselbe Geschichte 25 Jahre später – sehr bald also – einen ganz anderen Twist nehmen könnte. Denn was hat neulich Jensen Huang, der CEO von NVIDIA, gesagt? „Soon, every pixel will be generated.“ Nicht gerendert. Nicht gefilmt. GENERATED. Eine maximal revolutionäre Vorhersage, und ich wage zu addieren: nicht immer und unbedingt bei ILM oder PIXAR, sondern auch auf meinem und auf deinem Mac. Spannend wird das.

https://vimeo.com/821101511

ChimäRegie

Die Geschichte von AI & Schach ist schnell erzählt: Der mechanical turk aus dem 18. Jahrhundert war kein Schachcomputer, sondern ein kleinwüchsiger Mensch unter einem Schachbrett, der einfach sehr gut Schach spielen konnte. Gilt also nicht. Danach hatten wir dann die üblichen zwei AI–Rezeptions-Phasen:

Phase 1 ging bis ca. 1996: „Das wird nie gut genug, kreative Intelligenz ist dem Menschen vorbehalten.“  

Phase 2 begann dann unmittelbar nachdem der erste amtierende Großmeister Gari Kasparow 1996 in einem regulären Turnier von einer Software geschlagen wurde: „Das müssen wir verbieten, weil sonst keiner mehr Schach spielt“.

Soweit, so bekannt. Spannend ist dann erst wieder Phase 3, die Phase der Zentauren: Es wird immer noch sehr viel Schach gespielt, von Menschen gegen Menschen, von Menschen gegen Maschinen, aber zunehmend auch von gemischten Teams. Teams, die so eng miteinander arbeiten, daß man sie Mischwesen oder Chimären nennen kann, oder wie es in der Schachwelt heißt: Zentauren, Chimären aus Mensch und AI.

Jetzt gucken wir mal rasch, wie es grade vorwärtsgeht mit der AI im Filmbereich: Runway Gen 2 ist grade noch im closed beta Stadium, und was da nach draußen sickert, hat jetzt bereits die Qualität von DALL-E von vor 12 Monaten. Aber eben nicht in einem einzelnen Bild, sondern schon in unserer Schlagzahl, heißt in 30 Frames Per Second, also in 2.700 Einzelbildern für einen 90-Sekünder. Genau wie bei DALL-E auch kommen die ersten Sachen oft als Parodien daher, aber das sollte uns nicht darüber hinwegtäuschen, daß das Tool selbst kein Parodietool ist, sondern eine ernstzunehmende Konkurrenz für tatsächlich all unser Tun.

Wenn Sie bitte mal kurz schauen wollen? Oder dies hier vielleicht?

Seht mal bitte kurz mit meinen Produceraugen auf die Effizienzpotenziale: Ein Macher berichtet, er habe seinen 90-Sekünder in rd. 30 Stunden Arbeit hergestellt incl. Schnitt, Vertonung, Grade etc. Genauer: er und seine AI, als Chimäre eben, aber nicht als 65-Menschen-Team mit 8 Wochen Prep, 4 Tagen Dreh und 6 Wochen Post in sagenwirmal 3.000 – 5.000 Mann-Stunden. In der Schlagzahl könnte so eine Chimäre innerhalb eines entspannten Jahres einen soliden Spielfilm abliefern. Oder umgekehrt: Die Manpower, die wir Werbevögel aktuell in einen 90sekünder stecken, würde easy für einzwei 90-minütige Blockbuster reichen.

Wenn ich in einem beliebigen Werbefilm-KVA alles rauswerfe, was auch eine AI erledigen könnte, und dabei die kreativen Department Heads & ein wenig Post drinlasse, dann verliere ich je nach Projekt 50-85% der Kosten. Nach allgemein akzeptierter Business-Logik kann es also quasi gar nicht nicht passieren, daß das einen relevanten Teil unseres Businesses übernehmen wird.

Wer da sagt: „Ja aber die Qualität!“, der muß halt nochmal DALL-E von vor 12 Monaten mit Midjourney in der 5. Version vergleichen. Und sich das dann nochmal von vorne anschauen und sich immer noch zu sagen trauen: „Ich sehe da nichts“. Ich für meinen Teil sehe da Einiges.  

Man kann jetzt, wie ein alter Mitstreiter, der mir das obige geschickt hatte, sagen „Stephan, it’s over!“, und ich kann dieses Sentiment so sehr nachvollziehen.

Oder man kann sich fragen, wie denn in mittlerer Zukunft so ein Werbefilmprojekt mithilfe eines Teams aus Regie und AI aussehen könnte, wenn wir von der optimistischen Annahme ausgehen, daß ansonsten erstmal alles gleich bleibt: Es gibt weiterhin Kunden, die 90Sekünder haben wollen, Agenturen, die sich welche ausdenken, Medien, in denen die stattfinden sollen, Produktionsfirmen, die sie produzieren, und Regie-Heldinnen, die sie umsetzen wollen – jetzt aber eben als Mischwesen aus Regie und AI. Ladies and Gentleman, willkommen im Zeitalter der ChimäRegie!

Los geht’s: Die Agentur hat dem Kunden eine Werbefilm-Idee verkauft. 90% der Standardwerbungen werden ja inzwischen entweder beim Kunden inhouse gemacht oder in der Agentur von diversen AI Jockeys, die eine Idee in Runway Gen 16 füttern und aus den 300 Durchläufen dann das Beste zusammenschneiden, vertonen, graden etc. Was natürlich ebenfalls hochgradig AI-gestützt funktioniert wie in ADOBE FIREFLY: Schnittvorschläge von der AI, Musikvorschläge & Soundkatalogauswahl via AI, Grading auf Basis von Textprompts etc..

Aber ab&zu gibt es Ideen, wo alle glauben, daß man mit einer ChimäRegie besser fahren würde, etwa weil die aus echten Darstellern vielleicht noch etwas rausgekitzelt bekommt, auf das die aktuelle Runway Generation noch nicht von alleine stößt. Vielleicht deshalb, weil Runways Outputs noch immer zu sehr an ihrem Trainingsmaterial kleben so wie früher die Autofilme auch sich immer nur mikroskopisch kleine Schritte von dem entfernt haben, was andere Autofilme davor auch schon gemacht haben (Auto auf Küstenstraße; Auto in Großstadt vor Stahl & Glas; Auto an der Ladestation etc.).

Also wird eine der paar verbleibenden Produktionsfirmen den Pitch gewinnen, die eine der wenigen ChimärRegisseure vertreten, die sich eben nicht darauf spezialisiert haben, Dinge umzusetzen, die Runway garantiert NICHT kann (Hochzeitsfilme, Band-Tour-Dokus), sondern die für Werbefilme sich mit einer AI zusammengetan haben und das Potenzial einer Film-AI im Tandem ausreizen, wie das eben weder die Kunden selbst noch die Agentur können.

Pre Production: Wir casten tatsächlich reale DarstellerInnen (ein Big Budget Projekt!). Das Storyboard sparen wir uns, da genügt uns das Text-Script der Agentur, das die ChimäRegie mithilfe ihres Film Know Hows aus alten Tagen in möglichst präzise Textprompts übersetzt. Mit denen füttert sie dann ihre handtrainierte Runway AI. Die hat sie in jahrelanger Trainingsarbeit an sich gewöhnt und auf ihren speziellen Lieblingsstil eingearbeitet, sagenwirmal: „englischer Humor mit einer Prise Selbstironie und einem Schwerpunkt auf High End looks?“. Promptbeherrschung und der exklusive Zugriff auf die jahrelang persönlich trainierte Runway Version sind die beiden Faktoren, mit denen sich unsere ChimäRegie von den Mitberwerberinnen abhebt, ja warum sie überhaupt erst den Pitch gewonnen hat.

Wir scannen die Darsteller, füttern sie in die AI und lassen sieI schonmal loslegen. Statt eines Storyboards haben wir so nach ein paar Tagen eine erste AI-Offline-Version, die unsere ChimäRegie sorgfältig auf Optimierunsgpotenziale abklopft.

Ein paar Takes werden wir vielleicht in den finalen Film übernehmen und nur noch die nochmal real drehen, wo man nach einer Woche Runway noch Verbesserungspotenzial entdeckt hat. Man trifft sich zum PPM, in dem es vor allem darum geht, ob es sich wirklich lohnt, noch real zu drehen; wenn ja, welche Teile und mit welchem Aufwand.

Die Verhandlungslinien sind hier absehbar: Kunde findet alles schon super und weiß eigentlich nicht, warum er jetzt noch das Budget für einen Realdreh locker machen soll. Lieber wäre es ihm, einfach nochmal 2 Wochen AI nachzubuchen, kostet ja fast nix, und der Regie-style ist doch eh schon in der AI eintrainiert.

Agentur & Produktion kämpfen aber hart für ihre Vision eines NOCH BESSEREN Films. Und natürlich kämpfen sie an gegen die ständigen Versuche des Kunden, schon in dieser Phase die MaFo Ergebnisse einzuholen. Man einigt sich darauf, die Close Ups alle einmal real zu drehen; und die eine große Establishing Sequenz, ein verdammt langer One Shot, in der alle DarstellerInnen auf cue was sagen oder tun sollen, die wird man auch nochmal real drehen, weil die AI zwar tolle High End Hintergründe, Kostüme, Lichtsituationen etc. ausgespuckt hat, aber das Timing der menschlichen Beiträge zum Film einfach nicht sitzen will.

Der Kunde grollt derweil im Stillen seiner Agentur, weil sie ihm nicht nur einen Film mit echten Darstellern (die teuren Nutzungsrechte hätten wir uns bei einem reinen AI Film gespart!) und vor allem eine so AI-unkompatibele Intro-Szene aufgeschwatzt hat, aber er sieht schlußendlich ein, daß das wahrscheinlich doch besser geht, wenn man’s real versucht.

Shoot: Wir lassen zwar die Darsteller den ganzen Text sprechen – vielleicht können sie’s ja doch besser als die an ihrer eigenen Stimme trainierten AI-Klone, passiert selten, aber kommt vor; real gedreht werden aber nur ein paar Selected Takes, meistens Close Ups, wo wir mimische Performances von echten Menschen sehen wollen, die die AI noch nicht so gut hinbekommt. Aber unsere ChimäRegie ist trotzdem happy, weil sie endlich mal wieder einen langen One Shot real inszenieren darf. Ein ganzer Drehtag – Yeah!

Post: Die AI hat natürlich weitergemacht und optimiert, während wir gedreht haben; im Schnitt lassen wir dann nochmal die besten AI Shots gegen die besten real gedrehten Takes antreten; vielleicht kombinieren wir beide Welten und legen Teile der Real-Performances über das, was die AI an Szenen schon vorbereitet hat („Hey Runway, nimm das Gesicht von Darsteller A aus dem Realmaterial und ersetze damit sein Gesicht aus dem AI Take“).

Und dann endlich gehen wir in die MaFo.

Ja genau so wird es kommen. Oder was denkt ihr?