FFG Projektdatenbank

zurück

PRISM

Perceptive Radar Induction via Symbolic Modeling

Projektbeschreibung

Die jüngsten Fortschritte in der Sensortechnologie ebnen den Weg für Multi-Sensor-Systeme als praktische und kosteneffiziente Lösung eine Vielzahl von Branchen, darunter Mobilfunksysteme, Energiesysteme und autonomes Fahren. Durch die Integration verschiedener Sensoren verbessern diese Systeme die Umgebungswahrnehmung, Zuverlässigkeit und Robustheit. Allerdings führt die steigende Anzahl von Sensoren zu neuen Herausforderungen im Hinblick auf eine effektive gemeinsame Verarbeitung.
Traditionelle Multi-Sensor-Verarbeitungsmethoden basieren entweder auf klassischen analytischen oder rein datengetriebenen Ansätzen wie Deep Learning. Während analytische Methoden wichtige Daten einzelner Sensoren übersehen können, erfordern datengetriebene Modelle große Mengen an hochwertigen Daten, denen oft an Interpretierbarkeit fehlt. Eine kohärente Multi-Sensor-Verarbeitung erfordert Umweltfaktoren und Variationen zwischen Sensoren zu überwinden, welche die Genauigkeit negativ beeinflussen können.
Wir schlagen einen hybriden Ansatz vor, der subsymbolische KI mit abstrakten symbolischen Repräsentationen kombiniert, um diese Herausforderungen zu meistern. Dieser Ansatz soll Deep Learning nutzen, um essentielle Merkmale und deren statistische Eigenschaften zu erfassen, bevor die Daten auf eine abstrakte, symbolische Ebene gehoben werden. Diese Abstraktion ermöglicht eine kohärente Verarbeitung unabhängig von Kalibrierung und erlaubt die Integration von Domänenwissen und physikalischen Einschränkungen. Die symbolischen Repräsentationen verbessern die Interpretierbarkeit des Systems, indem sie Menschen Einblicke in die Verarbeitung erlauben..
Ein entscheidender Anwendungsbereich für hybride Multi-Sensor-Systeme ist das (teil-)autonome Fahren. Moderne Fahrzeuge verlassen sich auf mehrere Sensoren wie Lidar, Ultraschall und Radarsensoren, um ihre Umgebung wahrzunehmen und sicherheitskritische Entscheidungen zu treffen. Unter diesen sind Radarsensoren für eine robuste Umgebungswahrnehmung am wichtigsten. Allerdings sind diese anfällig für Kalibrierungsfehler, Synchronisationsprobleme und begrenzte Bandbreite, die eine effektive kohärente Verarbeitung verhindern. Diese Einschränkungen können zu fehlenden oder falschen Detektionen führen und stellen dadurch ein Sicherheitsrisiko dar.
Unser Projekt wird sich darauf konzentrieren, Multi-Radar-Systeme für Automotive zu verbessern, indem wir zunächst die lokale Wahrnehmung an jedem Radarsensor durch subsymbolisches maschinelles Lernen optimieren. Anschließend werden wir versuchen, Kalibrierungs- und Bandbreitenbeschränkungen zu lösen, indem wir die Sensordaten auf eine symbolische Ebene heben. Dort werden probabilistische und KI-unterstützte graphbasierte Methoden, die abstrahierten Daten mit Domänenwissen für eine kohärente Umgebungswahrnehmung kombinieren.
Zusätzlich implementieren wir einen Feedback-Mechanismus, bei dem symbolische Repräsentationen genutzt werden können, um die Sensorkonfigurationen dynamisch zu optimieren. Für Radarsysteme könnte dies bedeuten, das Sichtfeld, die Apertur oder die Auflösung zu optimieren, um sich auf kritische Objekte zu konzentrieren und die Datenqualität und Wahrnehmungsgenauigkeit zu verbessern.
Zusammenfassend wird unser hybrider Ansatz, der subsymbolische und symbolische Verarbeitung kombiniert, adaptive, effiziente und interpretierbare Multi-Radar-Systeme ermöglichen und letztendlich die Fahrzeugsicherheit und autonome Fahrtechnologien vorantreiben.

Abstract

Recent advances in sensor technology have paved the way for multi-sensor systems to become a practical and cost-effective solution across a range of industries, including mobile radio systems, energy grids, and autonomous vehicles. These systems improve perception, reliability, and robustness by integrating diverse sensors; however, they introduce new challenges regarding effective joint processing.
Traditional multi-sensor processing methods rely either on classical analytical techniques or purely data-driven approaches, such as deep learning. While analytical methods may miss crucial data from individual sensors, data-driven models require large volumes of high-quality data and often lack interpretability. Achieving coherent multi-sensor processing requires overcoming environmental factors, and variations between sensors, which can negatively affect performance.
Our research proposes a hybrid approach that combines subsymbolic AI with higher-level symbolic representations to address these challenges. This method leverages deep learning to capture essential low-level features and their statistical properties before elevating the data to a more abstract, symbolic level. This abstraction enables coherent processing regardless of sensor calibration issues and allows for the integration of domain knowledge and physical constraints. The symbolic representations enhance system interpretability, providing humans with insights into system performance.
One crucial area for the application of hybrid multi-sensor systems is (semi-) autonomous driving. Modern vehicles rely on multiple sensors—such as lidar, ultrasonic, and radar sensors—to perceive their environment and make safety-critical decisions. Among these, radar sensors are most crucial for robust environment perception. However, radar systems are prone to calibration errors, synchronization issues, and limited bandwidth, all of which hinder effective coherent processing. These limitations can lead to missed or false detections, posing safety risks.
Our project will focus on enhancing automotive multi-radar systems by first improving local perception at each radar sensor through subsymbolic machine learning. Next, we will address calibration and bandwidth limitations by lifting the sensor data to a symbolic level, where probabilistic and AI-aided graph-based methods will combine the abstracted data with domain knowledge for a coherent environmental perception.
Additionally, we will implement a feedback mechanism, where symbolic-level representations can be used to optimize sensor configurations dynamically. For radar systems, this could mean optimizing the field of view, aperture, or resolution to focus on critical objects, improving data quality and perception accuracy.
In summary, our hybrid approach, which blends subsymbolic and symbolic processing, will create adaptive, efficient, and interpretable multi-radar systems, ultimately advancing vehicle safety and autonomous driving technologies.

zurück