FFG Projektdatenbank

zurück

SyntheticCabin

Simulation von Fahrzeuginnenräumen für die effiziente Entwicklung von Driver/Occupant Monitoring Systemen

Projektbeschreibung

Ausgangssituation und Problemstellung: Die Wichtigkeit der Innenraumanalyse von Fahrzeugen hat innerhalb der letzten Jahre signifikant zugelegt. Nicht zuletzt, da 94% aller Unfälle auf menschliches Fehlverhalten zurückzuführen sind (US DOT, NHTSA 01-17). Der Einsatz von kamerabasierter Analyse des Fahrers (Driver Monitoring Systeme, kurz: „DMS“) und aller Insassen (Occupant Monitoring Systeme, kurz: „OMS“) zur Erkennung von Körperposen und Aktionen wird von der Automobilindustrie für aktuelle als auch für zukünftige Autonomiestufen als wesentlich angesehen, um in kritischen Fällen Sicherheitssysteme optimal einsetzen und damit schwere Verletzungen und Todesfälle verhindern zu können. Fundamental wichtig für die Entwicklung von auf Maschinellem Lernen basierenden Systemen für kamerabasiertes DMS/OMS sind eine hohe Anzahl und Variation hochqualitativer und annotierter Daten, mit denen die Algorithmen trainiert und getestet werden können. Gleichzeitig verlangen Normen im Automobilbereich (z.B. ISO SOTIF) möglichst alle Szenarien in der Validierung der Systeme abzudecken. Da die Erstellung einer ausreichenden Menge und Variation an realen Daten aufgrund der Kosten, der Dauer und des Aufwands unmöglich ist, muss auf simulierte Daten zurückgegriffen werden. Allerdings gibt es basierend auf dem derzeitigen Stand der Technik keine Lösung, die den Anforderungen der Entwicklung hochqualitativer DMS/OMS gerecht wird.

Ziele und Innovationsgehalt: Das Ziel des Projekts ist ein kosten- und zeiteffizienter Simulations-Workflow für die Entwicklung von Anwendungen zur Umfeldanalyse für den Fahrzeuginnenraum. Unser innovativer Ansatz simuliert komplexe dynamische Fahrzeuginnenraumszenarien (z.B. Erzeugung und Animation von 3D Personenmodellen, Materialien und Oberflächen, passende Sensorkonfigurationen, usw.) und ermöglicht insbesondere die Herstellung synthetischer Daten zu Trainings-, Validierungs- und Testzwecken. Dadurch werden kostenintensive Datenakquise und händische Annotation vermieden und die Nachbildung einer Vielfalt von Szenarien, Umgebungsbedingungen und Sensormodalitäten ermöglicht. Im Gegensatz zu realen (d. h. nicht-simulierten) Datenbeständen können durch den geplanten Simulations-Workflow auch seltene oder potenziell gefährliche Szenarien (z. B. Situationen während eines Aufpralls oder bei Sekundenschlaf) erfasst werden. Neben Anwendungen im Automobilbereich sehen wir auch Operator-Safety im Transport- (z. B. Bus, Bahn) und Nutzfahrzeugbereich (z. B. LKWs, Baumaschinen) als vielversprechende Anwendungsgebiete für den vorgeschlagenen Simulations-Workflow.

Angestrebte Ergebnisse und Erkenntnisse: Wir werden Techniken zur effizienten und realistischen Modellierung und Simulation komplexer Fahrzeuginnenraumszenarien unter Berücksichtigung physikalischer Sensoreigenschaften für eine Vielzahl von bildgebenden Sensortechnologien (NIR/RGB/ToF), unterschiedliche Eigenschaften von Insassen (Körperformen, Kleidung, Behaarung, usw.), Fahrzeugaufbauten (z. B. innenraumspezifische Sensorpositionierungen und -konfiguration) und Fahrsituationen entwickeln. Unter Verwendung der simulierten Daten werden hochwertige Machine Learning und Computer Vision Algorithmen für Anwendungsszenarien im Bereich DMS/OMS trainiert und bezüglich ihrer Performance evaluiert. Das übergeordnete Ziel ist die Entwicklung eines simulationsgestützten, kosteneffizienten und in Hinblick auf Qualität und Robustheit optimierten Workflows für die Entwicklung von Umfeldanalyseanwendungen für DMS/OMS.

Abstract

Initial situation and problems to solve: The importance of interior monitoring of vehicles has increased significantly in recent years. Not at last because it was recognized that 94% of all accidents happen due to human error (US DOT, NHTSA 01-17). The use of camera-based analysis of the driver (driver monitoring) and all occupants (occupant monitoring) to detect body poses and actions is considered essential by the automotive industry for current and future levels of autonomy in order to be able to optimally use safety systems in critical situations and thus prevent serious injuries and deaths. Fundamentally important for the development of machine learning- and camera-based vehicle interior monitoring systems are a large number and variation of high-quality annotated data with which the algorithms can be trained and tested. At the same time, standards in the automotive sector (e.g. ISO SOTIF) require that as many scenarios as possible are covered in the validation process. Since the creation of a sufficient amount and variation of real data is impossible due to the costs, the duration and the effort, simulated data must be used. However, based on the current state of the art, there is no solution that meets the requirements of high-quality vehicle DMS/OMS system development.

Planned goals and level of innovation: The goal of this project is a cost and time efficient simulation workflow for the development of applications for environmental analysis for the vehicle interior. Our innovative approach simulates complex dynamic vehicle interior scenarios (e.g. generation and animation of 3D person models, materials and surfaces, suitable sensor configurations, etc.) and enables the production of synthetic data for training, validation and test purposes. This avoids costly data acquisition and manual annotation and enables the simulation of a variety of scenarios, environmental conditions and sensor modalities. In contrast to real (i.e. non-simulated) data sets, the planned simulation workflow can also capture rare or potentially dangerous scenarios (e.g. situations during an impact or micro-sleep). In addition to applications in the automotive sector, we also see operator safety in the transport (e.g. bus, train) and commercial vehicle (e.g. trucks, construction machinery) areas as promising fields of application for the proposed simulation workflow.

Expected results and findings: We will use techniques for efficient and realistic modeling and simulation of complex vehicle interior scenarios, taking into account physical sensor properties for a wide variety of imaging sensor technologies (NIR / RGB / ToF), various properties of occupants (body shapes, clothing, hair, etc.), vehicle chassis (i.e. specific sensor positions and configurations) and driving situations. Using the simulated data, high-quality machine learning and computer vision algorithms for application scenarios from the area of vehicle DMS/OMS are trained and their performance is evaluated. The overall goal is the development of a simulation-based, cost-efficient workflow that is optimized with regard to quality and robustness for the development of environment analysis applications for DMS/OMS systems.

zurück