FFG Projektdatenbank

zurück

MOSAIK

Multimodale Daten und KI-Analysen für Interdisziplinäre Lagebilder im Katastrophenmanagement

Projektbeschreibung

In Österreich, Deutschland und weltweit sind wir zunehmend von komplexen Krisenlagen wie Naturkatastrophen, Umweltkatastrophen, Unfällen oder kriegerischen Auseinandersetzungen betroffen, die schnelles und zielgerichtetes Handeln erfordern. Behörden und Organisationen mit Sicherheitsaufgaben (BOS), Hilfsorganisationen, das Militär, Betreiber kritischer Infrastrukturen sowie Akteure aus Wirtschaft und Industrie müssen daher eine effektive Vorsorge treffen, um Schadens- und Krisenfälle zu bewältigen. Eine professionelle Lagebewältigung basiert auf präzisen Informationen über Art, Ausmaß und Zusammenhänge sicherheitsrelevanter Ereignisse.

Um Entscheidungsträgern ein fundiertes Lagebild zu bieten, ist es unerlässlich, aktuelle Erkenntnisse aus unterschiedlichen Datenquellen zusammenzuführen und interdisziplinär zu analysieren. Derzeit beschränkt sich die Auswertung sicherheitsrelevanter Informationen meist auf regionale oder sektorale Ansätze, was die Erfassung eines umfassenden Lagebilds erschwert. Bisherigen Forschungsansätzen mangelt es außerdem an der Berücksichtigung der multiskalaren Struktur von Krisenereignissen. Eine multiskalare, grenzüberschreitende Analyse in Echtzeit und unter Berücksichtigung einer multimodalen Datengrundlage ist bislang nicht vorhanden, stellt jedoch eine zentrale Voraussetzung für eine verbesserte Krisenbewältigung dar (Grünbuch Lagebild, 2023).

Ziel des MOSAIK Projektes ist es, multimodale, heterogene Open Source Datenquellen unter Verwendung neuester Methoden aus dem Bereich der Künstlichen Intelligenz (KI) zu analysieren und zu fusionieren, um eine echtzeitnahe Kartierung komplexer Lagesituationen auf verschiedenen Maßstabsebenen zu ermöglichen. Dadurch soll den Einsatzkräften eine schnellere, verbesserte und gezielte Einsatzplanung sowie Ersthilfe ermöglicht werden. MOSAIK baut thematisch und methodisch auf den Ergebnissen der BMBF/KIRAS Projekte HUMAN+, AIFER und MUSIG auf.

MOSAIK-Informationen stammen aus unterschiedlichen Quellen, darunter Einsatzkräfte, Drohnen, Satelliten, geo-soziale Medien, Mobilfunkdaten, Sensordaten oder Nachrichtenartikel. Um Verzögerungen und Inkompatibilitäten zu vermeiden, müssen die Prozesse zur Datenteilung und Informationsverarbeitung effizient zwischen Forschung/Entwicklung und Anwendern abgestimmt sein und in bewährte Abläufe des Katastrophenmanagements integriert werden.

Im MOSAIK Projekt soll eine Analyse Toolbox für interdisziplinäre Lagebilder auf Basis von Open Source Daten erforscht, entwickelt und praxisnah erprobt werden. Auf verschiedenen räumlichen (lokal, regional, überregional) und zeitlichen (vor, zu Beginn, während und nach der Lage) Skalenniveaus werden folgende Forschungs- und Entwicklungsschwerpunkte verfolgt:

- Raum-zeitliche Analyse von Mobilfunk- (Drei.at) und App-Daten (Azira) für die Abschätzung von Personendichte, -anzahl und -bewegung
- Algorithmen für dynamische Detektion von Katastrophen-Hotspots und multimodale Situationserfassung in geo-sozialen Medien (Raum, Zeit, Semantik, aspektbasierte Emotionen)
- Erforschung von KI-Methoden für die ad-hoc Auswertung von Live-Daten aus dem Einsatz (z.B. Drohnen, Fotos oder Berichte)
- Multiskaliges Situationsmonitoring durch KI-gestützte Geodatendienste für ein grenzübergreifendes, kontinuierliches Gefährdungsmonitoring auf Basis von Satellitendaten (Copernicus Sentinels)
- Capacity Building und Training: strukturierte Aufbereitung der Projektergebnisse als Basis für Schulungen

Abstract

In Austria, Germany, and worldwide, we are increasingly affected by complex crisis situations such as natural disasters, environmental disasters, accidents, or armed conflicts, which require rapid and targeted action. Authorities and organizations with security responsibilities (BOS), aid organizations, the military, operators of critical infrastructure, as well as actors from the economy and industry, must therefore take effective precautions to manage damage and crisis situations. Professional crisis management is based on precise information about the nature, extent, and interconnections of security-relevant events.

To provide decision-makers with a well-founded situational picture, it is essential to consolidate current insights from various data sources and analyze them interdisciplinarily. At present, the evaluation of security-relevant information is mostly limited to regional or sectoral approaches, making it difficult to obtain a comprehensive situational overview. Moreover, previous research approaches lack consideration of the multiscalar structure of crisis events. A multiscalar, cross-border analysis in real-time, based on a multimodal data foundation, does not yet exist but is a crucial prerequisite for improved crisis management (Green Paper Situational Awareness, 2023).

The goal of the MOSAIK project is to analyze and merge multimodal, heterogeneous open-source data sources using the latest methods from the field of Artificial Intelligence (AI) to enable near real-time mapping of complex situational scenarios across different scales. This aims to allow emergency forces to carry out faster, improved, and more targeted deployment planning and first aid. Thematically and methodologically, MOSAIK builds on the results of the BMBF/KIRAS projects HUMAN+, AIFER, and MUSIG.

MOSAIK information originates from various sources, including emergency responders, drones, satellites, geo-social media, mobile network data, sensor data, or news articles. To avoid delays and incompatibilities, data-sharing and information-processing processes must be efficiently coordinated between research/development and users and integrated into established disaster management workflows.

The MOSAIK project aims to research, develop, and test in practice an analytical toolbox for interdisciplinary situational awareness based on open-source data. Across different spatial (local, regional, supraregional) and temporal (before, at the onset, during, and after an incident) scales, the following research and development priorities are pursued:

- Spatiotemporal analysis of mobile network (Drei.at) and app data (Azira) to estimate population density, numbers, and movements
- Algorithms for dynamic detection of disaster hotspots and multimodal situation assessment in geo-social media (space, time, semantics, aspect-based emotions)
- Researching AI methods for ad-hoc evaluation of live data from operations (e.g., drones, photos, or reports)
- Multiscalar situation monitoring through AI-supported geodata services for cross-border, continuous hazard monitoring based on satellite data (Copernicus Sentinels)
- Capacity building and training: structured preparation of project results as a basis for training

zurück