Real und virtuell zusammen denken

Die Filmakademie Baden-Württemberg in Ludwigsburg gehört zu den erfolgreichsten Filmschulen der Welt. Ein Seminar-Highlight dieses Jahres war der Set Extension Workshop. DoP Matthias Bolliger berichtete in unserem Heft 9.2024  als betreuender Kamera-Dozent über diese wohl einzigartige Kooperation dreier Departments.

Drei Studiengänge, drei Monate Vorbereitungszeit, zwei finale Drehtage und ein Thema, das seit Disneys „The Mandalorian“ immer stärker am Filmhorizont schimmert: Virtuelle Produktion − die Erweiterung des realen Sets mittels digitaler Bilderwelten. Neben den klassischen Chroma-Key Set-Erweiterungen wie Blue- und Green Screen stößt nun mit In-Camera Visual Effects, kurz ICVFX, die digitale Projektion von Hintergründen auf einer LED-Leinwand hinzu. Diese LED-Walls können in Kombination mit einer Game-Engine live gerechnete Hintergründe wiedergeben, so dass reale und digitale Welten bestmöglich verschmelzen. Der sogenannte Set Extension Workshop (SEW) wurde von Production Designer Thomas Stammer 2006 ins Leben gerufen und ist damit seit fast 20 Jahren Teil der Ausbildung an der Filmakademie Baden-Württemberg und am Animationsinstitut in Ludwigsburg. Jedes Jahr richten die beiden Institutionen gemeinsam das Seminar aus, um sich mit möglichen virtuellen Erweiterungen eines größeren Filmsets auseinanderzusetzen. Bereits zum vierten Mal in Folge sollten die Studierenden nun auch das Tor zur Virtual Production aufstoßen und den Mix aus realem Szenenbild, virtuellen Welten und getrackter Kamera kennenlernen.

Dazu diente der Workshop als Teamplay zwischen allen drei beteiligten Gewerken: Szenenbild/Production Design, Bildgestaltung/Kamera sowie Animation/VFX. Dabei können die Stärken, aber auch die Einschränkungen der Arbeit an einer LED-Wall kennengelernt werden. Denn nur mit viel Abstimmung zwischen allen Beteiligten kann die Verschmelzung von realem Vordergrund und digitalem Hintergrund gelingen und das Ziel des gemeinsamen World-Buildings erreicht werden. Denn nicht erst seit „1899“ haben gerade Serien- Produktionen entdeckt, dass sich mit ICVFX allerhand realisieren lässt.

In den vergangenen Jahren lag beim SEW stets ein klarer Fokus auf der narrativen Komponente des filmischen Ergebnisses. Dies sollte im aktuellen Jahr durch einen eher spielerischen und experimentierfreudigen Umgang mit den Technologien vereinfacht werden. Die Storyline-Entwicklung wurde verschlankt, mehr Raum für Test- und Spieltage geschaffen. „Im Vordergrund des SEW steht, dass die Studierenden das Handwerkszeug für künftige VFX-Dreharbeiten erlernen“, unterstreicht Volker Helzle, Leiter der Abteilung R&D, der den SEW in technologischer Hinsicht betreut. CG- und VFX-Supervisor Marc Angele leitete ab dem Wintersemester 2023/24 den Set Extension Workshop zusammen mit Production Designer Thomas Stammer und mir selbst als DoP. Dabei steht jeder für sein Departement ein, unterrichtet aber auch seine Fachbereiche in den anderen Abteilungen. Dies ergibt einen Dreiklang der zentralen Departements rund um virtuelle Produktion und unterstreicht damit den Team-Effort einer gelungenen virtuellen Umsetzung.

Kein Tool für alles

Bei Virtual Production handelt es sich meist um technische Einzelkomponenten, die für eine spezielle Film-Anwendung zusammengeführt werden, aber nicht primär dafür entwickelt wurden. Da ist auf der einen Seite das Motion-Tracking der Kamera und gegebenenfalls auch realer Set-Objekte als Referenz für die Parallaxen-Verschiebung der sich bewegen- den Kamera, reale und digitale Lichtgestaltung, Scans von Materialien und Oberflächen aus der realen für die digitale Welt und dies alles für eine live-rechnende Game-Engine. Kein Wunder, dass immer mal wieder mit Computerabstürzen oder Crashes einzelner Komponenten zu rechnen ist. „Die Industrie befindet sich im Bereich Virtual Production derzeit noch in einer Experimentierphase“, schätzt Marc Angele die Situation ein. „Es wird allerdings wenig hinterfragt, wann und in welcher Weise die Technik Sinn ergibt. Dass Virtual Production nicht die eierlegende Wollmilchsau ist, verstehen derzeit wenige. Es gibt in der Industrie meinem Eindruck nach noch zu wenig Fachkräfte, die Virtual Production gewerkeübergreifend verstehen und durchführen.“

Diese Einschätzungsfähigkeit den Studierenden zu vermitteln, war auch eines der Hauptziele des Workshops. Denn Fragen entstehen im Laufe des Workshops wie von selbst und Lösungen müssen sich über die Grenzen einzelner Gewerke hinweg finden: Wie baut man ein Studio auf, um eine Integration der beiden Welten möglichst problemlos zu generieren? Welche Kamerabewegungen ergeben Sinn oder wie wird reales Licht digital verlängert und die Problematik mit Boden und nicht-vorhandener Decke gelöst? „Die Frage, ob eine virtuelle Produktion sinnvoll eingesetzt wird, ist eine konzeptionelle und dabei ist es zentral, dass die Kreativen ,Hands-on‘-Erfahrungen mitbringen“, so Thomas Stammer, Production-Design-Dozent des SEW. „Der filmische Raum soll als Gesamtfläche geplant und gestaltet werden.“ Somit war es von Anfang an Ziel und Aufgabe, eine gestalterische Konzeption zu entwerfen, die den Gesamtraum mit sowohl den realen als auch virtuellen Bereichen umfasst. Alle drei Departments waren aufgerufen, diesen gemeinsam zu erarbeiten und zu planen.

Auch wurde es zu einem zentralen Bestandteil wie Texturen, Materialien und Lichtgestaltung sowohl analog im Set als auch digital in der virtuellen Welt auf der LED- Wand weitergeführt werden könnten: Eine Vorgabe, die Kooperation über Abteilungsgrenzen hinweg erforderlich macht. Denn nur so werden filmische Inszenierungen, für die zuvor aufwendige Setbauten und Greenscreen-Erweiterungen nötig waren, einfacher, aber gleichzeitig auch glaubhaft umsetzbar.

Dystopisches Konzept

Die Studierenden entschieden sich konzeptionell für eine Science-Fiction-Welt, die allerdings nur im Kopf zweier Kinder in der nordkoreanischen Hauptstadt Pjöngjang existiert. Eine regennasse, leicht dystopische, surreale Welt, die von neonbeleuchteten Wolkenkratzern geformt ist, verwandelt sich erst am Ende der Handlung aus der Gedankenwelt der beiden Teenager in die kommunistisch anmutende, triste Hauptstadt mit weiten Plattenbau-Vorstädten.

Mit diesem Handlungsrahmen ging es darum, das notwendige Know-how zu erarbeiten. Dazu kamen weitere Spezialisierungen in KI-World-Building, Concept Illustration, Realtime Technologies & Unreal Engine, CG Lighting & Color Management, Introduction to PreVis Tools, VFX Set Supervision, Chroma-Key und Studio-Lighting sowie experimentelle Testtage vor der LED-Wand. Dabei wurde auch mit einer Arricam 416 auf 16-mm-Kinefilm experimentiert. Das Ergebnis war in dem Sinn erstaunlich, dass eine nicht mit der Game Engine synchronisierte Filmkamera gute Resultate ohne Motion-Artefakte oder Scan-Lines erzeugte. Die zusätzliche Filmkorntextur half gar, Moiré-Strukuren der LED-Wall großenteils unkenntlich zu halten, da LED-Panels heute noch über eine begrenzte Auflösung und Kontrastdarstellung verfügen, besonders wenn im Studio auch mit Filmlicht geleuchtet wird.

Ohne Abstand des Darstellers zur LED-Wand und ohne einen Vorder- und Mittelgrund wirkt die Virtuelle Welt auf der LED-Wall schnell unglaubwürdig. Nur eine gesteuerte Schärfentiefe kann dies durch leichte Unschärfe der Wall kaschieren und somit realistisch abbilden. Kamera- und Objektivwahl definieren damit einen Korridor möglicher Sensoren-Brennweiten-Kombinationen, die es in den Grundtests zu finden galt. Um das Tracking der Kamera und die live gerechnete Adaption des Hintergrundes auf der LED-Wand optimal zu nutzen, bot es sich an, auch mit bewegter Kamera zu arbeiten. Durch Parallaxen-Verschiebungen der Tiefenebenen wird der Gesamteindruck einer Welt wesentlich realistischer. Die Vorteile der LED-Bildwand liegen auch darin, dass sie gleichzeitig als Set-Beleuchtung dient und dadurch realistische Licht-Reflexionen auf Glanzoberflächen wie Chrom, Metall oder Wasser liefert. Dennoch gilt es zu beachten, dass es durch den Einsatz der LED-Wand als Leuchtmittel durch den optischen Spektralaufbau der LEDs zu Farb-Verschiebungen im Videomaterial kommen kann. Erste Vergleichstests mit weißem Licht vor der LED-Wand und weißem Licht vor einem ARRI SkyPanel bestätigten dies. Somit bleibt klassisches Filmlicht für natürliche Hauttöne weiterhin erste Wahl.

360-Grad-Kür

Ein besondere Herausforderung stellten sich die Studierenden für die Schlusssequenz ihrer Übung: eine 360-Grad-Rundfahrt um die Protagonisten, wobei sich die Science-Fiction-Welt auflöst und am Ende zwei Kinder auf einem Plattenbau-Hochhausdach in Nordkorea stehen. Dazu fertigte das Szenenbild-Department eine reale Drehscheibe auf Basis eines Kameraschienen-Vollkreises an. Die Studierenden des Animationsinstitutes befestigten darauf lokale Tracker, die den Bildinhalt der LED-Wand direkt steuerten. Wenn sich also die Drehscheibe bewegte, drehte sich der Hintergrund auf der zehn Meter breiten und vier Meter hohen LED-Wand synchronisiert mit – ein perfektes Beispiel für die Kooperation der drei Abteilungen.

Es ist meiner Einschätzung nach auch an der Filmakademie eine Ausnahme, dass drei Dozierende für ein einzelnes Seminar zusammenkommen und jeweils vor Ort sind. Aber die Chancen und Möglichkeiten virtueller Produktion vertieft auszuloten und ein anderes Mal auch zum Schluss zu kommen, dass eine gewisse VFX-Einstellung durchaus effizienter auf anderem Weg gelöst werden kann, zeigt erst echte Technologie-Offenheit. Zu vermitteln, wie man später miteinander an einem professionellen Set kommuniziert und welche Abteilungen welche Workflows nutzen und brauchen, ist die große Stärke dieses Real-World-Workshops. Gerade serielle, szenische Produktionen mit sich wiederholenden Motiven können von Virtual Production profitieren.

Mit virtueller Echtzeittechnologie verlagern sich Aufwände klar in die Pre-Production, vieles muss schon dezidiert vor Drehbeginn geklärt, entwickelt und gerendert werden. Dafür wird im Gegenzug die Post-Production schlanker und übersichtlicher. Doch der Zauber des finalen Produkts kommt damit auch zurück ans Set und stützt wiederum die Magie des Filmemachens selbst − nämlich dann, wenn mit Technik Kreativität entsteht. [15468]

Möchten Sie mehr ins Detail gehen? Morgen finden Sie hier unter anderem einen Spickzettel zu Virtual Production!