In unserem Heft 5/2018 fassten Sönke Kirchhof und Vivian Oedi zusammen, was bei der 360-Grad-Filmproduktion für VR-Projekte wichtig ist. Der ersten Teil befasste sich mit innovativen und bereits verfügbaren Technologien in Hardware und Software. Hier geht es nun um die besten Herangehensweisen und Workflows und darum, welche technologischen Entwicklungen die Kamera-Community im Blick behalten sollte.
VOM DREH BIS ZUM FERTIGEN FILM
Wie beim klassischen Film lässt sich auch bei der Produktion von 360-Grad-Filminhalten der Ablauf vom Dreh bis zum fertigen Film vielfältig gestalten und an die Umstände und den kreativen Anspruch anpassen: Es gibt nicht nur eine Methode, die zum Erfolg führt. Dennoch lassen sich inzwischen Herangehensweisen und Besonderheiten im Umgang mit 360-Grad-Video hervorheben, die zu bestimmten Workflows und Praktiken geführt haben.
So sind die meisten Kameras aufgrund der verbauten Sensorgrößen nicht besonders lichtstark. Zudem ist natürlich alles im Raum zu sehen. Dieser Umstand erfordert das konsequente Einplanen von „Clean Plates“ – insbesondere zur Retusche von eingesetzten Lichtquellen, die zur Kompensation des eingeschränkten Dynamikumfangs dienen. Ein Unterschied zur klassischen Filmproduktion ist, dass man wesentlich stärker als dort schon in den früheren Projektphasen daran denken muss, welchen Einfluss die Entscheidungen auf die Postproduktion haben werden. Denn von dem Gedanken, dass die Kamera ein Bild hervorbringt, das nicht mehr gestitcht werden muss, sollte man sich schnell verabschieden. Bereits das Ersetzen des Bereichs, in dem ein Stativ zu sehen ist, bedeutet Retusche und damit zusätzliche Arbeit im Bereich Compositing und VFX.
Grundsätzlich werden von der Kamera Einzelkamera-Segmente aufgenommen, die in der Postproduktion synchronisiert werden müssen. Bewegt sich nun ein Schauspieler relativ zur Kamera und somit durch verschiedene Bereiche des 360-Grad-Sichtfelds, so führt das aus Sicht des Kamerarigs zu unterschiedlichen Perspektiven und erhöht die Komplexität und somit den Aufwand für die Postproduktion erheblich. Bisher ist es leider fast unmöglich, ein „stitchfreies“ Bild zu generieren oder vor dem Dreh einer Sequenz genau einzukreisen, welcher Aufwand in der Postproduktion für ein akzeptables oder qualitativ hochwertiges Ergebnis zu kalkulieren ist.
Insbesondere die Bewegung der Kamera erfordert daher besonderen Produktions- und Postproduktionsaufwand und eine genaue Planung und Abstimmung zwischen den Gewerken. Durch die Dynamik erhält ein 360-Grad-Projekt andererseits aber auch eine besondere dramaturgische Relevanz. So kann durch die Bewegung der Objekte im Raum die Aufmerksamkeit des Zuschauers gelenkt werden. Angenommen, man verwendet eine Vorwärts-Kamerabewegung, so kann davon ausgegangen werden, dass der Zuschauer auch in eben diese Bewegungsrichtung schaut. Bewegung spielt somit eine zentrale Rolle in der 360-Grad-Bildgestaltung, geht aber zumeist mit einem größeren Produktionsaufwand einher.
Auch die Kameraposition hat in der Bildgestaltung von 360-Grad-Inhalten besondere Relevanz, denn damit wird grundsätzlich nicht nur entschieden, welche Blickrichtung räumlich erfasst wird, sondern auch welche Position der Zuschauer einnimmt. Sieht ein Zuschauer das Geschehen von oben und wird zum stillen Beobachter oder ist er auf Augenhöhe und wird Teil des Geschehens? Die Kameraposition wird entsprechend zu einem starken, dramaturgischen Mittel in der 360-Grad-Produktion und sollte bereits in der Konzeption mitbedacht werden. Von der Entwicklung über den Dreh bis hin zum fertigen Film gibt es also auch in der 360-Grad-Filmproduktion einen komplexen Ablauf, der auf besondere Herausforderungen und Bedingungen eingehen muss, aber auch dramaturgisch besonderes Potenzial gegenüber der konventionellen filmischen Erzählung bietet.
WHAT’S NEXT?
Für die Produktion von Virtual-Reality-Inhalten im Kontext Film scheinen vor allem zwei Technologien vielversprechend zu sein. Dies ist zum einen die bereits bekannte, wenn auch noch in den Kinderschuhen steckende Lichtfeld-Technologie, zum anderen sind das Ansätze für volumetrische Videoaufnahmen.
Die volumetrische Videoaufnahme ist ein 3D-Aufnahme- und Produktionssystem für die Integration von real aufgezeichneten Inhalten, zum Beispiel Personen, auf Basis eines Mehrkamera-Aufnahmesystems. Dieses System kann bei zukünftigen Filmproduktionen den begehbaren Film, also vollkommen neuwertige Entertainment- und Infotainment-Erlebnisse schaffen und eine noch stärkere Immersion ermöglichen, wenn die verfügbaren Tools und das notwendige Storytelling sinnvoll eingesetzt werden. Der Zuschauer kann sich beliebig um einen real aufgenommenen Charakter herum bewegen und vollkommen individuell Gesichtsausdrücke und Bewegungsdetails erfassen. Das Projekt VVOW (www.vvow.eu), ein Forschungskonsortium von Trotzkind GmbH, Fraunhofer HHI und Reallifefilm International GmbH, arbeitet an einem Mehrkamera-Aufnahmesystem mit mindestens 32 Kameras sowie einer Methode zur Stabilisation von dynamischen 3D-Modellen zur Integration in kommerziellen 3D-Postproduktions-Tools.
Auch die Lichtfeld-Technologie könnte für die Weiterentwicklung von Cinematic VR wegweisend sein. An der Technologie und seiner Verwendung für Virtual Reality wird zurzeit viel geforscht. Dabei haben sich verschiedenste Ansätze entwickelt. Durch ein „microlense array“, das aus vielen mikroskopischen Linsen besteht und direkt vor den Kamerasensor gesetzt wird, kann das Bild unmittelbar vor dem Sensor in Lichtstrahlen aufgeteilt werden. Auf diese Weise lässt sich ein 3D-Modell mit einer Ansicht aus verschiedenen Positionen und mit allen Schärfentiefen erfassen, das es erlaubt, noch nach der eigentlichen Foto- oder Videoaufnahme über Schärfe, Schärfentiefe sowie Perspektiven zu entscheiden. Das deutsche Unternehmen Raytrix entwickelt plenoptische Sensoren, welche die Aufnahme von 3D-Tiefeninformationen mit nur einer Kamera ermöglichen. Es gibt zudem aktuell ein deutsches Forschungsvorhaben rund um die K-Lens GmbH, das noch einen Schritt weitergeht und ein Lichtfeld-Objektiv entwickelt, das mit allen gängigen Digitalkameras und Objektivmounts kompatibel ist und auch für den Einsatz bei VR/AR-Anwendungen geeignet sein soll. Dabei ist auch das Fraunhofer Institut involviert. Hier forscht man schon länger an dieser Technologie und hat bereits ein Lichtfeld-Aufnahmesystem entwickelt. Es besteht aus einem Set-up von High-Quality-Kameras in planarer Anordnung und soll neue Wege in der Filmproduktion beschreiten, die auch für VR-Anwendungen relevant sein könnten.
Es gibt also viel Bewegung bei der Entwicklung von Technologien für die Produktion von Cinematic-VR-Inhalten. Das wird nicht nur den Produktionsprozess, sondern auch die kreativen Möglichkeiten in der Gestaltung von filmischen VR-Inhalten verändern. Cinematic VR wird in Zukunft deutlich mehr sein als 360-Grad-Video, und der technologische Fortschritt wird vor allem interaktive Elemente stärken. [4768]
