Das Fraunhofer-Institut hat die Gründung der Lichtfeldmarke Realception auf der IBC 2017 bekanntgegeben.
Das Realception-Plugin für NUKE. (Bild: Foto: Fraunhofer-Institut)
Realception soll Plugins für die bekannten Post Production Tools liegfern, die die Arbeit mit Daten von Lichtfeldkameras sowie von mehreren Kameras ermöglichen.
Bei der Lichtfeldfotografie erfasst die Kamera nicht nur Farbe und Helligkeit des ankommenden Lichts, sondern erfasst auch die Richtung der einfallenden Informationen. Dafür sind statt einer Optik viele optische Einheiten nötig, ähnlich einem Insektenauge, daher auch der Fachbegriff der Plenoptik. Durch die Information der Lichtrichtung ist es der Kamera möglich, den aufgezeichneten Raum in drei Dimensionen zu verstehen. Im Nachhinein können so Manipulationen vorgenommen werden, die bei normalen Kameras gar nicht, oder nur mit aufwendiger Nachbearbeitung möglich sind. So kann bei Lichtfeld-Bildern zum Beispiel im Nachhinein die Schärfeebene beliebig verlegt werden, selbst die Beleuchtung und der Blickwinkel sind noch im gewissen Rahmen veränderbar. Auch können beliebige Inhalte anhand ihrer Entfernung von der Kamera definiert und abgeschnitten werden. So ist es bei Lichtfeldkameras zum Beispiel nicht mehr nötig, eine Greenscreen aufzubauen, alles hinter dem Motiv kann einfach über seine Entfernung definiert und weggeschnitten werden.
Schon heute werden viele Szenen mit mehreren “normalen” Kameras gleichzeitig gedreht. In der Post müssen diese dann bildgenau zusammengelegt werden, damit die Szene einen einheitlichen Ablauf erhält, so dass CGI eingebaut werden kann. Mit Realception soll dies ebenso vereinfacht werden.
Auch wird die Lichtfeldtechnologie für VR nutzbar. Real-Action-Content kann so perfekt für einzelne VR-Brillen individuell gerendert werden, um das optimal für das Modell zugeschnittene VR-Erlebnis zu ermöglichen. Der Nutzer erhält “six degrees of Freedom”, also “Sechs Freiheiten” in seiner Immersion: Er kann den Kopf drehen wie bisher auch, er kann aber auch vor und zurück gehen oder auch nach links und rechts treten. Es ist also möglich, in die szene hineinzugehen, aus ihr heraus, oder sich auch in ihr umzudrehen, die Perspektive zu wechseln.
Kopf dieser Forschungsgruppe sind Dr. Siegfried Fößel, Head of the Moving Picture department, und Dr. Joachim Keinert, Head of the Computational Imaging Group beim Fraunhofer Institut. Derzeit findet die Entwicklung eines Toolsets für Lichtfeld-Postproduktion für VR in der NUKE-Umgebung von The Foundry statt.
