FFG Projektdatenbank

zurück

I2VM3S

Intelligent Indirect Vision with Multimodal Safe Sensor Systems

Projektbeschreibung

Steigende Automatisierung und Autonomes Fahren benötigen hochzuverlässige Sensorsysteme mit hochperformanten Detektionsalgorithmen. Entwicklungen wie Deep-Learning haben hier wesentliche Verbesserungen bei der Qualität der Aussagen solcher Detektionssysteme gebracht. In jüngster Zeit treten jedoch die Limitierungen dieser Technologie immer mehr zum Vorschein. „Adverserial Attacks“ und „Täuschungen“ von DL ergeben großes Gefahrenpotential und können nur durch multimodale Sensorsysteme wie es in I2VM3S erforscht werden soll, gelöst werden.

Wesentlich ist für die zukünftigen "indirekten" Sichtvorrichtungen (also Systeme die dem Fahrer Bereiche zeigen die er nicht einsieht), dass eventuelle Lücken einer Sensorik durch neuartige Ansätze wie "Augmented Reality" auch in "Worst-Case" Situation wie Schneefall, Regen oder Nebel dem Fahrer eine Stabile Sicht seiner Umgebung ermöglichen. Aus diesem Grund sollen die anderen Modalität mit Deep-Learning basierten Verfahren in das Gesamtlagebild eingebettet werden. Diese Technologie stellt einen völlig neuen Ansatz dar und wird die Kraftfahrzeuge der Zukunft maßgeblich verändern.

Das Projektkonsortium hat es sich zum Ziel gesetzt basierend auf dem vorhandenen Know-How für "Kamera-Monitor-Systeme" aus der Fahrzeugindustrie und Deep-Learning basierte Ansätze, sowie Szenenverständnis und Lagebeurteilung zusammenzuführen und an neuen Lösungswegen zu forschen. Als konkrete Sensorik soll RADAR, LiDAR und Stereovision in dem Forschungsprojekt untersucht werden. Über eine Integration in die vorhandene Onboard-Unit von AVI, dem Traffic Interface Controller, mit integrierter Deep-Learning Plattform, werden die Sensoren eingelesen und anschließend im Rahmen des Forschungsframeworks visualisiert und verarbeitet.

Um die Qualität des Systems verifizieren zu können ist geplant mittels den Testmöglichkeiten von Magna-Mirrors Holding GmbH als Marktführer im Bereich von PKW Rückspiegelsystemen auf den Teststrecken Digitrans oder Alplab entsprechende normen konforme und darüber hinausgehende Tests durchzuführen.

Abstract

Increasing automation and autonomous driving require highly reliable sensor systems with high-performance detection algorithms. Developments such as deep learning have brought significant improvements in the quality of the statements of such detection systems. Recently, however, the limitations of this technology have become increasingly apparent. "Adverserial Attacks" and "misrepresentations" of deep learning result in a great potential of danger and can only be solved by multimodal sensor systems as it will be investigated in I2VM3S.

For future "indirect" vision systems (i.e. systems that show the driver areas he cannot control) it is essential that possible gaps in sensor technology can be filled with new techniques such as "Augmented Reality" to enable the driver to have a stable view of his surroundings even in "worst case" situations such as snowfall, rain or fog. For this reason, the other modalities are to be embedded into the overall situation using deep-learning based methods. This technology represents a completely new approach and will significantly change the vehicles of the future.

The project consortium has set itself the goal of combining existing know-how for "camera-monitor systems" from the automotive industry and deep-learning based approaches, as well as scene understanding and situation assessment, and to research new solutions. As concrete sensor technology RADAR, LiDAR and Stereovision will be investigated in the research project. The sensors will be loaded via an integration into the existing onboard unit of AVI, called: Traffic Interface Controller with integrated deep learning platform. It is then visualized and processed within the research framework.

In order to verify the quality of the system, it is planned to carry out tests using the test facilities of Magna-Mirrors Holding GmbH, the market leader in the field of car rearview mirror systems, on the test tracks: Digitrans or Alplab, that conform to the relevant standards and even go beyond them.

zurück