FFG Projektdatenbank

zurück

GigaResponse

XR-Entscheidungsunterstützung mit KI-gestützten semantischen Digital Twins für echtzeitgestützte Einsatzleitung.

Projektbeschreibung

Bei Notfällen und im Einsatz in Krisenfällen kann die notwendige Reaktion auf eine plötzlich auftretende, alarmierende Anforderung sehr zeitkritisch sein und die Qualität der Reaktion häufig über Leben und Tod sowie das Erhalten kritischer Infrastruktur entscheiden. In solchen extremen Situationen ist eine gleichzeitig rasche sowie effiziente Einsatzplanung von ausschlaggebender Bedeutung. Dabei beeinflusst die Verfügbarkeit von Informationen über Ressourcen, Zeitanforderungen und Örtlichkeit maßgeblich die Effektivität der Rettungsmaßnahmen. Typischerweise ergeben sich Notfallsituationen mit zeitkritischen Antwortzeiten in zahlreichen Bereichen, wie dem Katastropheneinsatz (Überschwemmungen, Lawinen, etc.), Einsätzen bei Verkehrsunfällen (KFZ, LKW, Bahn, etc.), der Brandbekämpfung, bei medizinischen Notfälle, usw.
Ein entscheidender Faktor ist hier die möglichst frühzeitige Verfügbarkeit von hochaktuellen und präzisen räumlichen sowie aktionsunterstützenden Informationen, in Form von realistischen 3D-Daten, die sowohl landschaftliche Gegebenheiten als auch bauliche Strukturen—auch innerhalb von Gebäuden —umfassen.
Informationen zu relevanten Einsatzgebieten sind häufig unzureichend, die 3D-Kartierung nicht strategisch optimiert oder steht für die Einsatzunterstützung nicht rechtzeitig zur Verfügung. Wenn jedoch qualitativ hochwertiges Kartenmaterial frühzeitig und in ausreichendem Umfang zugänglich gemacht werden kann, würde dies einen entscheidenden Fortschritt in der Effektivität und Effizienz von Rettungseinsätzen darstellen und somit wesentlich zur Verbesserung der Bergung und Versorgung hilfesuchender Personen beitragen.
Das Ziel des Forschungsprojekts ist die Untersuchung zentraler Funktionalitäten für eine möglichst schnelle teleoperative digitale Einsatzplanung. Diese soll der Einsatzleitung rechtzeitig eine 3D-Repräsentation des Einsatzszenarios bereitstellen. Dabei ermöglicht die Echtzeit-Datenübertragung via 5G eine verzögerungsfreie Übermittlung der von mobilen Mapping Systemen (Drohne, tragbarer Scanner) erfassten Umgebungsdaten.
Die Einsatzleitung kann dabei in einer virtuellen Umgebung („remote“) auf die generierten „Digital Twins“ zugreifen. Diese digitalen Zwillinge werden durch einsatzrelevante Metadaten ergänzt, die mittels KI-basierter, automatisierter Annotationen entstehen, und unterstützen so fundierte Entscheidungsprozesse.
Zentraler Forschungsgegenstand ist dabei ein möglichst rasches Scannen der Umgebung sowie der baulichen Gegebenheiten des Einsatzszenarios. Dabei bestehen die Herausforderungen,
 in der möglichst raschen, echtzeitgestützten 3D-Erfassung der Umgebungsinformation mittels mobilen Mobile Mapping Systemen (Drohne, tragbarer Scanner),
 Echtzeitübertragung der gescannten Umgebungsdaten via 5G parallel zu Aufzeichnung um sie möglichst rasch der Einsatzleitung zur Verfügung zu stellen
 in der KI-gestützten Vorverarbeitung durch automatisierte Erfassung von semantischer Information auf den 3D-Daten, inklusive 3D-Objekterfassung (Mustererkennung),
sodass die Einsatzleitung durch geeigneten „Decision Support“ die Entscheidungen schneller und effizienter treffen kann (Details siehe unten).

Abstract

In emergencies and crisis situations, the necessary response to a sudden, alarming request can be very time-critical, and the quality of the response can often determine life and death, as well as the preservation of critical infrastructure. In such extreme situations, rapid and efficient operational planning is crucial. The availability of information about resources, time requirements, and location significantly influences the effectiveness of rescue efforts. Emergency situations with time-critical response times typically arise in numerous areas, such as disaster relief operations (floods, avalanches, etc.), traffic accident operations (vehicles, trucks, trains, etc.), firefighting, medical emergencies, etc.
A crucial factor here is the earliest possible availability of up-to-date and precise spatial and action-supporting information, in the form of realistic 3D data, which includes both landscape features and structural features—even within buildings.
Information on relevant operational areas is often insufficient, 3D mapping is not strategically optimized, or is not available in a timely manner to support operations. However, if high-quality maps can be made available early and in sufficient quantities, this would represent a decisive advance in the effectiveness and efficiency of rescue operations and thus contribute significantly to improving the recovery and care of people seeking assistance.
The goal of the research project is to investigate key functionalities for the fastest possible teleoperative digital operational planning. This should provide operations management with a timely 3D representation of the operational scenario. Real-time data transmission via 5G enables the instantaneous transmission of environmental data captured by mobile mapping systems (drones, portable scanners).
Operations management can access the generated "digital twins" in a virtual environment ("remote"). These digital twins are supplemented with mission-relevant metadata generated using AI-based, automated annotations, thus supporting sound decision-making processes.
The central research focus is on scanning the environment and the structural conditions of the operational scenario as quickly as possible. The challenges include:
 the fastest possible, real-time 3D capture of environmental information using mobile mapping systems (drones, portable scanners),
 real-time transmission of the scanned environmental data via 5G parallel to the recording in order to make it available to the operational command center as quickly as possible,
 AI-supported preprocessing through automated capture of semantic information from the 3D data, including 3D object detection (pattern recognition),
so that the operational command center can make decisions faster and more efficiently with appropriate decision support (see details below).

zurück