FFG Projektdatenbank

zurück

VRStream

Interactive 3D Live Streaming with Advanced Motion Control and Actor Interaction for Virtual Reality

Projektbeschreibung

Dieses Projekt erforscht eine Reihe neuer, effizienter Methoden zur Erstellung von Virtual Reality Erlebnissen, die digitale 3D-Inhalte mit der Live-Performance eines realen Schauspielers kombinieren. Solche Erlebnisse sollen durch die Live-Aufnahme einer Performance in 3D sowie deren interaktives Compositing und Echtzeitübertragung an VR-Endgeräte produziert werden. Dafür entwickeln wir ein XR-Toolkit, welches neuartige Methoden zur Erstellung und Interaktion mit 3D-Inhalten umfasst.
Durch innovative virtuelle Produktionsverfahren (virtual production), die LED-Wände als interaktive Hintergründe während der Aufnahme nutzen, hat sich zuletzt die Effizienz in der Erstellung kombinierter real-digitaler Erlebnisse erheblich erhöht. Virtual Production ist üblicherweise zweidimensional. In diesem Antrag beschreiben und erforschen wir ein neuartiges Verfahren – 3D Virtual Production. Wir untersuchen das interaktive Recording und Streaming von Live-Performances in 3D mittels zweier Kameras in einem Stereo-Rig, die mit der LED-Wand synchronisiert sind, welche das jeweils passende Hintergrundbild pro Kamera anzeigt. Die präzise Synchronisierung der LED-Wände mit den Kameras ermöglicht es außerdem, mehrere Content-Streams (z.B. mit unterschiedlichen digitalen Welten) gleichzeitig aufzuzeichnen. Möglich wird dies mittels mehrerer 3D Kameras durch exakte Synchronisierung dank der hohen Bildwiederholrate (240Hz) unserer LED-Wand. Endnutzer können dann in VR mit der digitalen Szene interagieren, etwa indem sie bevorzugte Hintergründe auswählen, über gewünschte Szenenabläufe abstimmen oder ihren Blickwinkel verändern.
Neue Interfaces/Schnittstellen werden in diesem Projekt sowohl auf Nutzerseite als auch auf Seite der Produktionsteams entwickelt und untersucht. Wir stellen eine neuartige Methode zur Kamerasteuerung vor, welche Rotationsverstärkung („rotational gains“) in Kombination mit der rotierenden VidMill-Plattform einsetzt. Dadurch ist der Kameramann in der Lage, bei Kameraschwenks einen viel größeren Rotationswinkel zu erzielen, als dies in der begrenzten LED-Umgebung ohne Rotation möglich wäre. Anstatt die Kamera um die Szene zu schwenken, rotiert bei diesem Verfahren der Schauspieler gemeinsam mit den digitalen Inhalten auf der LED-Wand (inkl. Beleuchtung) mit Hilfe der physischen VidMill-Plattform. Die Rotationsverstärkung multipliziert dabei die physische Bewegung der Kamera mit einem nicht-linearen Faktor, wodurch dem Kameramann eine natürliche Steuerung der Drehung ermöglicht wird. Darüber hinaus untersuchen wir die physische Interaktion von Schauspielern mit der digitalen Szene durch markerloses Motion-Capture, das Schauspielern alle Bewegungsfreiheiten lässt.
Abschließend untersuchen wir in umfangreichen Nutzer- und Expertenstudien Effizienz, Benutzerfreundlichkeit und Präferenzen von Nutzern und Experten im Vergleich zu herkömmlichen 3D-Content-Erstellungstechniken. Wir erwarten, dass das vorgeschlagene XR-Toolkit die Effizienz der Content-Erstellung deutlich steigert und die kreativen Möglichkeiten des Produktionsteams für die Erstellung gemischter real-digitaler Erlebnisse erweitert. Das vorgeschlagene Toolkit bietet Potenzial für Kosteneffizienz und Fortschritte in zahlreichen Anwendungsfeldern der XR Produktion, wie z.B. Unterhaltung, Bildung, Training, Tourismus, Rehabilitation.

Abstract

This project proposes novel methodologies for creating virtual reality experiences that combine 3D digital content with a live performance of a real actor. Such experiences will be produced by live recordings of performance in 3D and its interactive compositing and real-time delivery to end-use VR devices. We propose a toolkit including novel methods for 3D content creation and interaction that increase efficiency and creativity during content creation. The efficiency of mixed real-digital experiences creation has recently significantly increased thanks to novel virtual production methods that utilize LED walls as interactive backgrounds during recording. However, such a recording has not yet been studied in 3D stereo setup with two cameras for 3D recording. We will investigate interactive capturing and streaming of live performance in 3D by using stereo rig with two cameras that will be synchronized to a background LED wall to always render a corresponding background image for each camera. Additionally, precise synchronization of LED walls with cameras will enable us to record multiple streams of content (e.g. with different digital worlds) at the same time. This will be achieved in a time-interlaced fashion thanks to the high refresh rate (240Hz) of our LED walls. The end user in VR will then be able to interact with the digital scene by selecting a preferred background, by voting for a preferred happening in the scene, or by changing the viewpoint.
The interactive interfaces will be researched in this project not only on the user side but also on the side of a production team. We propose a novel method for camera control using rotational gains in combination with rotational VidMill platform. With this method, a camera operator will be able to control the panning motion of the camera by natural camera motion while achieving much higher rotational range than with the limited LED volume without rotation. This method will rotate an actor on a physical rotational platform VidMill together with a digital content on LED background and lights instead of panning camera around the scene. The proposed rotational gains will multiply the physical motion of a camera by a non-linear factor that will enable a camera operator to naturally control the rotation of digital world. Additionally, we will investigate the interface for physical interaction of the actor with digital scene using markerless motion capture.
Finally, we will study efficiency, usability and preference of users and experts in comparison to traditional 3D content creation techniques in user studies and expert studies. We expect the proposed toolkit to significantly boost efficiency of content creation and to widen the creativity options of production team for creating mixed real-digital experiences. The proposed toolkit has the potential to advance multiple areas where mixed reality digital content is used, including entertainment, education, training, tourism and rehabilitation.

zurück