FFG Projektdatenbank

zurück

GeoCROW

GeoSemantic and Crowdsourced enhanced Virtual Reality for Situational Awareness

Projektbeschreibung

Das Projekt „GeoCrow“ adressiert die Schwierigkeit für militärische Streitkräfte, hochaktuelle und einsatzrelevante Informationen über einen zukünftigen Einsatzraum zu erhalten, und diese Informationen visuell so zu präsentieren, dass die Einsatzpersonen die topographische und sicherheitsrelevante Lage gemeinsam erfassen können. Virtuelle Globen – wie Google Earth, Bing Maps, Google Maps – stellen heutzutage vielfältige Möglichkeiten dar, um die topographischen Gegebenheiten von Einsatzräumen virtuell zu erkunden. Jedoch ist es nicht möglich lokale und aktuelle einsatzrelevante Informationen aus dem World Wide Web oder sozialen Medien lagerichtig in einer Karte anzuzeigen.
Diese Art der digitalen Aufklärung ist jedoch für das Bundesministerium für Landesverteidigung von hoher Bedeutung, da eine Vielzahl von Einsätzen im Ausland stattfindet. Für diese Einsätze gestaltet es sich schwierig lokale, hochaktuelle Informationen zu erhalten, wie z.B.: über (kleinräumige) Naturkatastrophen (Lawinenabgänge, Hochwasser), Unruhen, Überfälle auf die Bevölkerung.
Hier können, durch das gezielte Durchsuchen der unstrukturierten Daten im World Wide Web wertvolle Informationen über einen Einsatzraum ermittelt werden. Durch das nachfolgende semantische Anreichern, Kategorisieren und Georeferenzieren dieser Daten, ist es möglich die erhaltenen Ergebnisse für einen definierten Einsatz hin zu ordnen, und lagerichtige anzeigen zu können. Die Ergebnisse des Projektes münden in einer Demonstrator-Implementierung, der die Einsatzinformationen in einer Virtual Reality Umgebung, eingebettet in topographische 3D Karten visualisiert. Die Entwicklung von intelligenten Virtual Reality Algorithmen zur Bewegung in der virtuellen Realität und zur Erzeugung einer realistischen Visualisierung der Umgebung sind hier von höchster Bedeutung. Damit ist es den Einsatzpersonen möglich, den Einsatzraum virtuell zu erkunden, und die Sicherheitslage profund und lagerichtig zu beurteilen.
Das Projekt „GeoCrow“ adressiert die Schwierigkeit für militärische Streitkräfte, hochaktuelle und einsatzrelevante Informationen über einen zukünftigen Einsatzraum zu erhalten, und diese Informationen visuell so zu präsentieren, dass die Einsatzpersonen die topographische und sicherheitsrelevante Lage gemeinsam erfassen können. Virtuelle Globen – wie Google Earth, Bing Maps, Google Maps – stellen heutzutage vielfältige Möglichkeiten dar, um die topographischen Gegebenheiten von Einsatzräumen virtuell zu erkunden. Jedoch ist es nicht möglich lokale und aktuelle einsatzrelevante Informationen aus dem World Wide Web oder sozialen Medien lagerichtig in einer Karte anzuzeigen.
Diese Art der digitalen Aufklärung ist jedoch für das Bundesministerium für Landesverteidigung von hoher Bedeutung, da eine Vielzahl von Einsätzen im Ausland stattfindet. Für diese Einsätze gestaltet es sich schwierig lokale, hochaktuelle Informationen zu erhalten, wie z.B.: über (kleinräumige) Naturkatastrophen (Lawinenabgänge, Hochwasser), Unruhen, Überfälle auf die Bevölkerung.
Hier können, durch das gezielte Durchsuchen der unstrukturierten Daten im World Wide Web wertvolle Informationen über einen Einsatzraum ermittelt werden. Durch das nachfolgende semantische Anreichern, Kategorisieren und Georeferenzieren dieser Daten, ist es möglich die erhaltenen Ergebnisse für einen definierten Einsatz hin zu ordnen, und lagerichtig anzeigen zu können. Die Ergebnisse des Projektes münden in einer Demonstrator-Implementierung, der die Einsatzinformationen in einer Virtual Reality Umgebung, eingebettet in topographische 3D Karten visualisiert. Die Entwicklung von intelligenten Virtual Reality Algorithmen zur Bewegung in der virtuellen Realität und zur Erzeugung einer realistischen Visualisierung der Umgebung sind hier von höchster Bedeutung. Damit ist es den Einsatzpersonen möglich, den Einsatzraum virtuell zu erkunden, und die Sicherheitslage profund und lagerichtig zu beurteilen.
Die methodischen Ergebnisse von GeoCrow werden anhand von zwei Einsatzszenarien getestet und evaluiert. Das Pilot-Szenario#1 wird sich mit einem Katastrophenhilfeeinsatz im Raum Bam (Iran), und das Pilot-Szenario#2 mit einem Ersteinsatz im Rahmen einer humanitären Mission in den Räumen N’Djamena und Abéché (Tschad) beschäftigen. Damit wird gezeigt, wie der Bedarfsträger – das BMLV – Einsatzkräfte in innovativer Weise auf Einsätze in fernen Regionen vorbereiten kann.

Abstract

The project „GeoCrow“ addresses the current difficulties to gather highly accurate and up-to-date information for military and humanitarian purposes on selected areas of operations. In addition, visualization of the information requires an overlay of topographical and attributive information, in order to provide soldiers information on the topography and the security level in the region. Contemporary Virtual Globes, like Google Earth, Google Earth, Bing Maps, NASA World Wind, provide ample functionalities to virtually discover the topography of the Earth or selected geographical regions. Nevertheless, currently it is hardly possible to integrate mission relevant information from the World Wide Web or even social medial in Virtual Globes or other online maps.
This digital reconnaissance is highly relevant for the Austrian Ministry for Defense, as a high number of military missions take place in foreign regions. For such mission it is still difficult to collect local, up-to-date information, such as local natural hazards (avalanches, floodings), social unrest, and aggression against the local population.
By crawling the World Wide Web it is possible to collect relevant information/data on the operation area. A semantic enrichment of those data, amended by categorizing, and georeferencing, opens up the possibilities to make use of structured and georeferenced information for the operation. The results of GeoCrow are integrated in a demonstrator implementation that is capable of visualizing operation relevant data with the help of 3D maps embedded in a Virtual Reality environment. The development of Virtual Reality algorithms concerning movement and visualization are research foci here in order to generate a realistic representation of the operations area. Hence, soldiers can virtually explore operations area with the help of the Virtual Reality equipment – and have topographical as well as accurate, up-to-date information at hand.
The methodological results of GeoCrow are tested and evaluated based on two scenarios. Scenario#1 deals with humanitarian relief in the area of Iran, whereas scenario#2 deals with an initial reconnaissance mission for a humanitarian operation in the areas of N’Djamena and Abéché (Chad, Africa).

Endberichtkurzfassung

Das Forschungsprojekt GeoCROW („GeoSemantic and Crowdsourced enhanced Virtual Reality for Situational Awareness“) wurde entwickelt, um Einsatzkräfte in humanitären Krisensituationen durch modernste Technologien zu unterstützen. In einer Welt, in der Naturkatastrophen, politische Unruhen und andere Krisen eine schnelle und robuste Entscheidungsfindung erfordern, kombiniert GeoCROW semantische Technologien, Crowdsourcing und Virtual Reality (VR), um ein präzises Lagebild zu erstellen. Das System sammelt und analysiert große Mengen an Daten aus verschiedenen Quellen, darunter Nachrichtenportale und soziale Medien und bereitet sie in einer interaktiven VR-Umgebung auf.

Die Leistungsfähigkeit von GeoCROW wurde anhand zweier realer Krisenszenarien getestet. Das erste Szenario dreht sich um das Erdbeben in der Türkei im Februar 2023, bei dem der Fokus auf der Erkennung von Schäden an der Infrastruktur und Versorgungslücken lag, damit Hilfsmaßnahmen besser koordiniert werden können. Das zweite Szenario beschäftigt sich mit dem Militärputsch im Niger im Juli 2023. In diesem Fallbeispiel wurden soziale Unruhen analysiert, um Gefahren für Einsatzkräfte rechtzeitig erkennen zu können.

Kernstück des Projekts ist die GeoCROW-Systemarchitektur, die auf einer modularen Microservices-Struktur basiert. Sie ermöglicht die automatisierte Analyse großer Datenmengen und ihre Integration in einen semantischen Wissensgraphen. Die gewonnenen Informationen werden mithilfe von Natural Language Processing (NLP) und Machine Learning verarbeitet, um relevante Ereignisse zu extrahieren und zu klassifizieren. Dabei kommen Algorithmen zur räumlichen, zeitlichen und thematischen Verortung von Informationen zum Einsatz. Ein mehrsprachiger Übersetzungsdienst sorgt dafür, dass GeoCROW auch Informationen aus fremdsprachigen Quellen zuverlässig einbinden kann.

Ein besonderes Highlight des Projekts ist die Integration von Virtual Reality, die eine völlig neue Art der Informationsvisualisierung ermöglicht. In einer immersiven Umgebung können Einsatzkräfte die Lagebilder interaktiv erkunden. Der Roomscale-Modus stellt eine virtuelle Karte auf einem großflächigen Kartentisch dar, während der Lifescale-Modus eine realitätsnahe Simulation des Krisengebiets bietet, die den Nutzern erlaubt, sich durch das betroffene Gebiet zu bewegen. Die VR-Umgebung erleichtert das Erfassen von Zusammenhängen und unterstützt eine intuitive Entscheidungsfindung.

Neben den technologischen Innovationen wurden auch die rechtlichen und ethischen Implikationen des Projekts umfassend untersucht. Besonders die Nutzung von Social-Media-Daten stellt Herausforderungen dar, da sie sowohl datenschutzrechtliche als auch ethische Fragestellungen aufwirft. Im Rahmen des Projekts GeoCROW wurde darauf hingewirkt, dass die Verarbeitung personenbezogener Daten gemäß den einschlägigen datenschutzrechtlichen Bestimmungen erfolgt. Gleichzeitig wurde analysiert, inwiefern in Hinblick auf das System Risiken, etwa aufgrund von Fake News oder des Einsatzes durch staatliche Institutionen, minimiert werden könnten. Zudem wurden erste Erkenntnisse in Hinblick auf den Anwendungsbereich der 2024 publizierten EU-KI-Verordnung gewonnen.

Die technologischen Innovationen des GeoCROW-Projekts können künftig zu einer Verbesserung der internationalen Katastrophenhilfe beitragen. Die Kombination aus künstlicher Intelligenz und Virtual Reality eröffnet neue Möglichkeiten für die Krisenbewältigung. Die genutzten Technologien können Entscheidungsfindungen in vielen Krisenszenarien, wie militärische Landesverteidigung, Naturkatastrophen, Flüchtlingsbewegungen oder Epidemien unterstützen. Für die Weiterentwicklung von GeoCROW ist eine enge Zusammenarbeit zwischen Forschung und Stakeholdern notwendig, um die Herausforderungen der Zukunft meistern zu können.

Genauere Informationen zu den Projektergebnissen können der Publikation in der Schriftenreihe der Landesverteidigungsakademie des Bundesministeriums für Landesverteidigung entnommen werden, die unter folgendem Link frei zugänglich ist:

Bundesheer - Wissenschaftliche Publikationen - GeoCROW: Geosemantische Datenanalyse und Virtual Reality-gestützte Visualisierung für humanitäre Einsätze im digitalen Zeitalter

Des Weiteren wurden die Projektergebnisse in einer öffentlich wissenschaftlichen Projektergebnis-Präsentation am 23.01.2025, 09:30 – 14:45 an der Landesverteidigungsakademie des BMLV durch alle Projektpartner vor Vertretern der FFG, BMLV und der Wissenschaft disseminiert.

zurück