FFG Projektdatenbank

zurück

RCVitalFusion

Contactless Vital Sign Sensing using Doppler Radar and RGB Camera Sensor Fusion

Projektbeschreibung

Motivation und Problemstellung
Nach natürlichen oder menschengemachten Katastrophen ist die schnelle Lokalisierung und Bewertung von Überlebenden entscheidend, um die Mortalität zu senken und effektive Rettungsmaßnahmen zu unterstützen. Klassische Such- und Rettungseinsätze (Search and Rescue, SAR), die rein von menschlichen Einsatzkräften durchgeführt werden, sind oft zeitaufwendig, ressourcenintensiv und mit erheblichen Risiken für die Rettungskräfte verbunden. Die kontaktlose Erfassung von Vitalparametern hat sich als vielversprechende Schlüsseltechnologie etabliert, um autonome und kooperative Rettungssysteme zu unterstützen, indem Informationen über den physiologischen Zustand von Personen ohne physischen Kontakt bereitgestellt werden. Bestehende Lösungen basieren jedoch meist auf einer einzelnen Sensormodalität und weisen daher unter realen Einsatzbedingungen wie Bewegung, schlechten Lichtverhältnissen oder teilweisen Abschattungen eine begrenzte Robustheit auf. Dieses Projekt adressiert diese Einschränkungen durch die Untersuchung multimodaler Sensorkonzepte, die komplementäre Messprinzipien kombinieren.

Ziele und Innovationsgehalt
Das übergeordnete Ziel des beantragten Dissertationsprojekts ist die Entwicklung und Validierung eines robusten, kontaktlosen Systems zur Erfassung von Vitalparametern auf Basis der Fusion von Doppler-Radar- und RGB-Kameradaten. Dazu werden bestehende radarbasierte und kamerabasierte Algorithmen zur Schätzung von Herz- und Atemfrequenz sowie multimodale Fusionsalgorithmen systematisch analysiert, deren Stärken und Schwächen identifiziert und ausgewählte Algorithmen hinsichtlich Robustheit und Echtzeitfähigkeit weiterentwickelt. Ein zentraler Innovationsaspekt liegt in der Entwicklung eines neuartigen dynamischen multimodalen Fusionsframeworks mit Bereitstellung eines Datenqualitätsindex, der die Gewichtung der Sensormodalitäten automatisch auf Basis einer Signalqualitätsbewertung anpasst. Durch die Kombination klassischer Signalverarbeitungsmethoden mit lernbasierten Fusionsansätzen und einer expliziten Bewertung der Signalqualität geht das Projekt über bestehende Einzelsensorsysteme und statische Fusionsstrategien hinaus.

Erwartete Ergebnisse
Das Projekt liefert eine wissenschaftlich fundierte Analyse der Leistungsfähigkeit und Grenzen kontaktloser Einzelmodalsysteme zur Vitalparametermessung und weist den Mehrwert einer multimodalen Radar-Kamera-Fusion nach. Zu den zentralen Ergebnissen zählen robuste Einzelmodalalgorithmen zur Schätzung von Vitalparametern, ein modulares multimodales Fusionsframework mit einem Echtzeit-Qualitätsindex zur Bewertung der Zuverlässigkeit der Messergebnisse sowie ein validierter Prototyp auf einer ressourcenbeschränkten Embedded-Edge-Plattform. Die erwarteten Ergebnisse liefern neue Erkenntnisse über multimodale, adaptive Sensorfusion und demonstrieren die Umsetzbarkeit solcher Systeme in autonomen und kooperativen SAR-Szenarien, wodurch sowohl der wissenschaftliche Erkenntnisgewinn als auch die anwendungsorientierte Forschung gestärkt werden.

Abstract

Motivation and Problem Statement
In the aftermath of natural or manmade disasters, the rapid detection and assessment of survivors is critical for reducing mortality and supporting effective rescue operations. Traditional search and rescue (SAR) missions executed solely by human rescue forces can be time consuming, resource intensive and dangerous to rescuers. Contactless vital sign sensing has emerged as a promising enabling technology to support autonomous and cooperative rescue systems by providing information on the physiological state of humans without physical contact. However, existing solutions typically rely on a single sensing modality and therefore suffer from limited robustness under real-world conditions such as motion, low light or partial occlusion. This project addresses these limitations by investigating multimodal sensing approaches that combine complementary sensing principles.

Objectives and Novelty
The primary objective of the proposed dissertation project is to develop and validate a robust contactless vital sign sensing framework based on the fusion of Doppler radar and RGB camera data. The project aims to systematically analyse state-of-the-art radar based and camera based algorithms for heart rate and respiratory rate estimation as well as multimodal fusion algorithms, identify their strengths and limitations and refine selected methods for improved robustness and real time capability. A key innovation lies in the development of a novel dynamic multimodal fusion framework with data quality index provision that automatically adapts modality weighting based on signal quality assessment. By integrating classical signal processing techniques with learning based fusion approaches and explicit signal quality assessment, the project goes beyond single modality systems and static fusion strategies.

Expected Results
The project is expected to deliver a scientifically grounded analysis of the capabilities and limitations of single modality contactless vital sign sensing methods and to demonstrate the added value of multimodal radar - camera fusion. Key results include robust single modality vital sign estimation algorithms, a modular multimodal fusion framework with a real time quality index for measurement reliability and a validated prototype implemented on a resource constrained embedded edge platform. The outcomes will provide new insights into quality aware sensor fusion for physiological monitoring and demonstrate the feasibility of deploying such systems in autonomous and cooperative SAR scenarios, thereby contributing to both scientific knowledge and application oriented research.

zurück