FFG Projektdatenbank

zurück

UNISCOPE-3D

UNIversal Single camera-based 3D sensing for COmprehensive human PErception

Projektbeschreibung

Ziel des Projekts UNISCOPE-3D ist es, hochinnovative Softwarealgorithmen zu entwickeln, die eine robuste und präzise dreidimensionale Analyse des menschlichen Körpers mit einer einzigen Kamera ermöglichen. Der Einsatz fortschrittlicher Computer-Vision-Techniken und Deep-Learning-Algorithmen ermöglicht der Analysesoftware (i) die Extraktion von 3D Schlüsselpositionen innerhalb und auf der Oberfläche des menschlichen Körpers im 3D-Raum aus einzelnen (monokularen) Kamerabildern und (ii) diese Informationen in weiterer Folge auch zu nutzen, um ein umfassendes Verständnis komplexer menschlicher 3D-Aktionen, Bewegungen und Interaktionen in realen Umgebungen zu generieren.

Diese umfassende Analyse des Menschen aus einzelnen Kamerabildern ist für eine Vielzahl von Branchen und Anwendungen aufgrund erhöhter Robustheit und niedriger Systemkosten von essenzieller Bedeutung. Im Rahmen von UNISCOPE-3D werden wir die Ergebnisse des Projekts im Kernbereich der emotion3D, der Insassenüberwachung in Fahrzeugumgebungen, anwenden und evaluieren. Die angestrebte Lösung kann unter anderem fortschrittliche Mensch-Maschine-Interaktion und Benutzererfahrung, intelligente und personalisierte Sicherheit (z.B. personalisierte Auslösung von Airbags) und Automatisierung von Fahrzeugen ermöglichen.

Im Rahmen des Projekts werden wir die Softwarealgorithmen für die automatische Analyse von Menschen aus monokularen Bilderinhalten entwickeln. Diese Algorithmen werden dann in einem Laborprototyp und in einem realen Fahrzeugprototyp validiert, wobei beide Prototypen ebenfalls im Rahmen des Projekts entworfen und entwickelt werden. Alle relevanten Werkzeuge und Arbeitsabläufe für die Generierung von Bilddaten, sowie für die automatische Erzeugung ihrer korrespondierenden Ground-Truth-Daten werden spezifiziert und implementiert. Anschließend wird eine umfangreiche Datenerfassungskampagne mit diesen Werkzeugen und Abläufen durchgeführt, um die resultierenden Algorithmen zu evaluieren und die Prototypsysteme zu validieren. Alle Entwicklungen werden bis zu einem Technologie-Reifegrad von 6-7 umgesetzt.

Endberichtkurzfassung

The UNISCOPE-3D project aims to develop highly innovative software algorithms that enable robust and accurate three-dimensional (3D) human body tracking and analysis using a single camera . The following objectives are targeted in this project:


Advancing 3D perception of humans: The primary goal is to push the boundaries of 3D perception technology for human body analysis using a single 2D camera setup, eliminating the need for expensive 3D multi-camera solutions.
Robustness and reliability: The software's performance must remain dependable in complex and dynamic conditions (e.g. changing lighting), leading to robust and reliable results even in challenging situations.
Efficiency and real-time responsiveness: We strive for real-time processing capabilities to facilitate instantaneous analysis for time-critical applications.


The project is designed as a three-year project, where the following outcomes and results are obtained after the first year of the project:


Single 2D camera-based 3D sensing prototype: An initial prototype for extraction of 3D information from 2D cameras was designed. In the following project years, the algorithms and tools will be fine-tuned and optimized.


Initial software algorithm for estimating 3D human keypoints from a single 2D camera.
Initial software framework for high-level understanding of 3D human actions, movements & gestures based on the 3D keypoints.


Prototype systems: Two prototype systems are foreseen to be developed within the scope of the project: a lab prototype and a prototype in an automotive environment. The lab demonstrator was implemented within the first year of the project. In the following years, a vehicle prototype will also be developed.
Datasets: After setting up all relevant workflows and tools for generation and annotation of data, an initial batch of data was generated and annotated for training and validating 3D keypoint estimation approaches as well as high-level 3D human action recognition algorithms.

zurück