FFG Projektdatenbank

zurück

UNISCOPE-3D

UNIversal Single camera-based 3D sensing for COmprehensive human PErception

Projektbeschreibung

Ziel des Projekts UNISCOPE-3D ist es, hochinnovative Softwarealgorithmen zu entwickeln, die eine robuste und präzise dreidimensionale Analyse des menschlichen Körpers mit einer einzigen Kamera ermöglichen. Der Einsatz fortschrittlicher Computer-Vision-Techniken und Deep-Learning-Algorithmen ermöglicht der Analysesoftware (i) die Extraktion von 3D Schlüsselpositionen innerhalb und auf der Oberfläche des menschlichen Körpers im 3D-Raum aus einzelnen (monokularen) Kamerabildern und (ii) diese Informationen in weiterer Folge auch zu nutzen, um ein umfassendes Verständnis komplexer menschlicher 3D-Aktionen, Bewegungen und Interaktionen in realen Umgebungen zu generieren.

Diese umfassende Analyse des Menschen aus einzelnen Kamerabildern ist für eine Vielzahl von Branchen und Anwendungen aufgrund erhöhter Robustheit und niedriger Systemkosten von essenzieller Bedeutung. Im Rahmen von UNISCOPE-3D werden wir die Ergebnisse des Projekts im Kernbereich der emotion3D, der Insassenüberwachung in Fahrzeugumgebungen, anwenden und evaluieren. Die angestrebte Lösung kann unter anderem fortschrittliche Mensch-Maschine-Interaktion und Benutzererfahrung, intelligente und personalisierte Sicherheit (z.B. personalisierte Auslösung von Airbags) und Automatisierung von Fahrzeugen ermöglichen.

Im Rahmen des Projekts werden wir die Softwarealgorithmen für die automatische Analyse von Menschen aus monokularen Bilderinhalten entwickeln. Diese Algorithmen werden dann in einem Laborprototyp und in einem realen Fahrzeugprototyp validiert, wobei beide Prototypen ebenfalls im Rahmen des Projekts entworfen und entwickelt werden. Alle relevanten Werkzeuge und Arbeitsabläufe für die Generierung von Bilddaten, sowie für die automatische Erzeugung ihrer korrespondierenden Ground-Truth-Daten werden spezifiziert und implementiert. Anschließend wird eine umfangreiche Datenerfassungskampagne mit diesen Werkzeugen und Abläufen durchgeführt, um die resultierenden Algorithmen zu evaluieren und die Prototypsysteme zu validieren. Alle Entwicklungen werden bis zu einem Technologie-Reifegrad von 6-7 umgesetzt.

Endberichtkurzfassung

The UNISCOPE-3D project aims to develop highly innovative software algorithms that enable robust and accurate three-dimensional (3D) human body tracking and analysis using a single camera . The following objectives are targeted in this project:


Advancing 3D perception of humans: The primary goal is to push the boundaries of 3D perception technology for human body analysis using a single 2D camera setup, eliminating the need for expensive 3D multi-camera solutions.
Robustness and reliability: The software's performance must remain dependable in complex and dynamic conditions (e.g. changing lighting), leading to robust and reliable results even in challenging situations.
Efficiency and real-time responsiveness: We strive for real-time processing capabilities to facilitate instantaneous analysis for time-critical applications.


The project is designed as a three-year project, where the following outcomes and results are obtained after the second year of the project:


Single 2D camera-based 3D sensing prototype: An optimized prototype for the extraction of 3D information from 2D cameras was designed. Based on the findings of the first year, optimizations were done towards accuracy, but also towards runtime.


Optimized software algorithm for estimating 3D human keypoints from a single 2D camera.
Optimized computer vision algorithms for high-level understanding of 3D human actions, movements & gestures based on the 3D keypoints.


Prototype systems: Two initial prototype systems were developed within the scope of the first two years of the project: a lab prototype and a prototype in a vehicle environment. The lab demonstrator was implemented within the first year of the project. The vehicle prototype was implemented within the second year of the project. An optimization of both prototypes will happen in the final year of the project.
Datasets: After setting up all relevant workflows and tools for generation and annotation of data in the first year of the project, a second batch of data was generated and annotated for training and validating 3D keypoint estimation approaches as well as high-level 3D human action recognition algorithms.

zurück