FFG Projektdatenbank

zurück

SmartResponse

Semantic Mapping mit Digitalen Zwillingen und KI-gestützter Assistenz für Echtzeitfähige Einsatzkoordination

Projektbeschreibung

Bei Notfällen und im Einsatz in Krisengebieten kann die notwendige Reaktion auf eine plötzlich auftretende, alarmierende Anforderung sehr zeitkritisch sein und die Qualität der Reaktion häufig über Leben und Tod sowie das Erhalten kritischer Infrastruktur entscheiden. In solchen extremen Situationen ist eine gleichzeitig rasche sowie effiziente Einsatzplanung von ausschlaggebender Bedeutung. Dabei beeinflusst die Verfügbarkeit von Informationen über Ressourcen, Zeitanforderungen und Örtlichkeit maßgeblich die Effektivität der Rettungsmaßnahmen.
Ein entscheidender Faktor ist hier die möglichst frühzeitige Verfügbarkeit von hochaktuellen und präzisen geografischen Informationen, in Form von realistischen 3D-Daten, die sowohl landschaftliche Gegebenheiten als auch bauliche Strukturen—einschließlich Innenräume—umfassen. In der Einsatzzentrale sollten diese virtuellen Daten als funktioneller „Digital Twin“ (Digitaler Zwilling) ehest und gezielt operabel verfügbar sein.
Das Projekt zielt darauf ab, die wissenschaftlichen Grundlagen für zukünftige Lösungen in der Form eines VR-basierten "Proof-of-concept" für Online-Einsatzleiter zu erforschen, damit ermöglicht würde, aus der Ferne realitätsnahe 3D-Modelle von Krisengebieten zu analysieren, Einsatzstrategien zu planen und mit den vor Ort befindlichen Rettungsteams effizient zu kommunizieren.
Das Ziel der Forschungsaktivitäten ist die Untersuchung der wichtigsten grundlegenden Funktionalitäten einer möglichst schnell durchführbaren teleoperativen digitalen Einsatzplanung, die rechtzeitig über 3D-Repräsentationen des Einsatzszenarios verfügen kann. Die Einsatzleitung greift dabei in virtueller Realität - „remote“ - auf die generierten „Digital Twins“ zu. Die „Twins“ werden durch einsatzrelevante Metadaten bereichert, die durch KI-basierte, automatisierte Annotationen entstehen, und unterstützen so die Entscheidungsprozesse der Einsatzleitung.
SmartResponse erforscht zuerst die organisatorischen sowie grundsätzlichen technischen Anforderungen an eine VR-gestützte Einsatzplanung. Ein zentraler Fokus des Forschungsprojekts ist die forschungsorientierte Untersuchung des Potentials echtzeitgestützter Erfassung relevanter 3D-Information vom Einsatzort. Dabei werden Verfahren untersucht, die eine effiziente iterative 3D Rekonstruktion aus den Scandaten erlauben sowie eine Erkennung relevanter Objekte und Eigenschaften („Affordanzen“) ermöglichen.
Ein zweiter Forschungsfokus ist die Untersuchung der physiologischen, kognitiven, emotionalen, motivationalen und sozialen Anforderungen an Einsatzleiter bei der Nutzung von VR-Brillen zur Entscheidungsunterstützung in Notfallsituationen. Ziel ist die Identifikation relevanter Faktoren, um eine schnelle, belastbare und effiziente Einsatzführung zu gewährleisten. Für die präzise Erfassung kognitiver Prozesse - Situationsbewusstsein, Reaktionszeit, mentale Belastung – werden neurologische und physiologische Informationen in einer explorativen Studie untersucht.
Schließlich unternimmt Smartresponse eine explorative Machbarkeitsstudie zur Erhebung des Potentials von KI (Reinforcement Lernen) für die Gestaltung einer adaptiven Entscheidungsunterstützung in VR im Einsatzfall.
Diese Lösungsansätze würden eine Optimierung der Einsatzressourcen ermöglichen. Durch intelligente Entscheidungsunterstützungssysteme könnten Einsätze effizienter, schneller und ressourcenschonender durchgeführt werden.

Abstract

In emergencies and when deployed in crisis areas, the necessary response to a sudden, alarming requirement can be very time-critical and the quality of the response can often make the difference between life and death and the preservation of critical infrastructure. In such extreme situations, rapid and efficient operational planning is of crucial importance. The availability of information on resources, time requirements and location significantly influences the effectiveness of rescue operations.
A decisive factor here is the availability of highly up-to-date and precise geographical information as early as possible in the form of realistic 3D data that encompasses both the landscape and building structures - including interior spaces. In the operations centre, this virtual data should be available as a functional ‘digital twin’ as soon as possible and in a targeted manner.
The project aims to research the scientific basis for future solutions in the form of a VR-based ‘proof of concept’ for online incident commanders, enabling them to remotely analyse realistic 3D models of crisis areas, plan deployment strategies and communicate efficiently with the rescue teams on site.
The aim of the research activities is to investigate the most important basic functionalities of teleoperative digital operational planning that can be carried out as quickly as possible and that can provide 3D representations of the operational scenario in good time. The operational command accesses the generated ‘digital twins’ in virtual reality - ‘remotely’. The ‘twins’ are enriched by mission-relevant metadata generated by AI-based, automated annotations and thus support the decision-making processes of the incident command.
SmartResponse is initially researching the organisational and fundamental technical requirements for VR-supported operational planning. A central focus of the research project is the research-orientated investigation of the potential of real-time-supported recording of relevant 3D information from the deployment site. This involves investigating methods that allow efficient iterative 3D reconstruction from the scan data and enable relevant objects and properties (‘affordances’) to be recognised.
A second research focus is the investigation of the physiological, cognitive, emotional, motivational and social demands on incident commanders when using VR glasses for decision support in emergency situations. The aim is to identify relevant factors in order to ensure fast, resilient and efficient operational management. For the precise recording of cognitive processes - situation awareness, reaction time, mental stress - neurological and physiological information is analysed in an explorative study.
Finally, SmartResponse is undertaking an exploratory feasibility study to determine the potential of AI (reinforcement learning) for the design of adaptive decision support in VR in an operational situation.
These solutions would make it possible to optimise operational resources. Intelligent decision support systems would enable operations to be carried out more efficiently, quickly and with fewer resources.

zurück