FFG Projektdatenbank

zurück

MEASURE

Monitoring Exercises using Ai-SUpport for Reliable Evaluation

Projektbeschreibung

Notfälle und Katastrophen gut bewältigen zu können, bedeutet für Einsatzorganisationen regelmäßig für den Ernstfall zu trainieren. Dies geschieht unter möglichst realistischen Bedingungen, um Einsatzkräften ein effektives Lernerlebnis zu bieten und praxisnahe Erkenntnisse generieren zu können, die bei echten Notsituationen von entscheidender Bedeutung sind. Sie fließen in die Gestaltung neuer Taktiken und Ausrüstungsgegenstände ein und werden benötigt, um Ausbildungsinhalte anzupassen. Um zu aussagekräftigen Ergebnissen zu gelangen, ist allerdings eine engmaschige Beobachtung und eine valide, objektive Interpretation der Übungsgeschehnisse erforderlich. Dies erfordert derzeit hohen Zeit- und Ressourcenaufwand. Zusätzlich sind die Ergebnisse durch die subjektive Wahrnehmung der EvaluatorInnen geprägt.

MEASURE untersucht die Anwendbarkeit künstlicher Intelligenz (Sprachanalyse) sowie von mehrdimensionalen Analysen von Sensorsignalen, um eine aussagekräftigere und schneller verfügbare Evaluierung von Einsatzübungen zu ermöglichen. Dabei liegt, neben der technischen Anwendbarkeit, der Fokus auf der Anwendertauglichkeit für EvaluatorInnen von Einsatzorganisationen und auf den rechtlich/ethischen Rahmenbedingungen, die bei der Nutzung neuer Technologien in diesem Kontext noch wenig erforscht wurden.

Unter Berücksichtigung der Endnutzeranforderungen werden eine Methode zur automatisierten Übungsauswertung und ein digitales Werkzeug für EvaluatorInnen entwickelt. Dies soll Einsatzorganisationen zukünftig höhere Effektivität und Effizienz im Übungsbetrieb ermöglichen und zu einer Verbesserung des Krisen- und Katastrophenmanagements beitragen.

Darüber hinaus werden die ethischen und rechtlichen Rahmenbedingungen für den Einsatz solcher Technologien untersucht und aufbereitet, um eine faire Bewertung von ÜbungsteilnehmerInnen, unabhängig von z.B. Herkunft, Geschlecht oder organisationaler Zugehörigkeit, zu gewährleisten.

Die Inhalte werden im Laufe des Projekts sorgfältig evaluiert und schließlich im Rahmen des Übungsbetriebs von Feuerwehr- und Rettungsdiensteinheiten praxisnahen Tests unterzogen, um einen hohen Mehrwert anzustreben und den Weg für weitere Innovationen in diesem Feld zu bereiten.

Abstract

To overcome emergencies and disasters effectively means that first responders must maintain constant training and exercising. Simulations are performed to generate effective learning experiences and useful findings, which later can be utilized to design new tactics, response equipment or training content. To achieve valuable exercise output, the evaluation approach must allow for close-meshed observation, as well as valid and objective interpretation. This currently demands extensive involvement of resources and high time consumption. Furthermore, observations are prone to human bias.

MEASURE examines the applicability of Artificial Intelligence, as well as multi-dimensional analysis of sensor signals (such as position, movement, etc.), to establish valid and swiftly available evaluation results for emergency exercises. Besides technical feasibility, its focus lies on usability requirements for first responder evaluators and legal-ethical circumstances, which have been researched little yet.

While paying much attention to end user requirements, a method and instrument for automatic exercise evaluation will be developed. This aims to increase effectiveness and efficiency of first responders and contributes towards stronger crisis- and disaster management overall.

Additionally, studying the legal-ethical aspects of the utilization of those technologies ensures fair assessment of exercise participants, while reducing bias towards e.g., origin, gender, or organizational belonging.

The project contents are carefully evaluated, before being tested in emergency exercises for fire service and emergency medical service. This ensures added value and paves the way for further innovation in this field.

Endberichtkurzfassung

Notfälle und Katastrophen gut bewältigen zu können, bedeutet für Einsatzorganisationen regelmäßig für den Ernstfall zu trainieren. Dies geschieht unter möglichst realistischen Bedingungen, um Einsatzkräften ein effektives Lernerlebnis zu bieten und praxisnahe Erkenntnisse generieren zu können, die bei echten Notsituationen von entscheidender Bedeutung sind. Sie fließen in die Gestaltung neuer Taktiken und Ausrüstungsgegenstände ein und werden benötigt, um Ausbildungsinhalte festzulegen. Um zu aussagekräftigen Ergebnissen zu gelangen, ist allerdings eine engmaschige Beobachtung und eine valide, objektive Interpretation der Übungsgeschehnisse erforderlich. Dies erfordert derzeit hohen Zeit- und Ressourcenaufwand. Zusätzlich sind die Ergebnisse durch die subjektive Wahrnehmung der Evaluator:innen geprägt.

Diesen Herausforderungen widmete sich Projekt MEASURE. Im Zuge des Projekts wurde untersucht wie innovative Technologien bei der Planung und Evaluierung von Einsatzübungen unterstützen können. Im Projektverlauf wurde ein Portfolio an Werkzeugen (TRL4) zur automatisierten Übungsauswertung entwickelt und im Rahmen solcher Übungen, unter realistischen Bedingungen, getestet. Konkret besteht das Portfolio aus den folgenden Komponenten:


Szenarioscanner (3.1E und 3.2E): Ein Simulationswerkzeug für die Planung von Vollübungen und Durchführung von diskussionsbasierten Planspielen. Mithilfe von Papierkarten werden Übungsszenarien diskutiert. Währenddessen werden die Karten von einem Scanner erfasst und ein digitales Modell des Szenarios erstellt.
Sensor-Kit (4.1E und 4.2E): Eine Selektion verschiedener Sensortechnologien, die von den Einsatzkräften am Körper getragen werden. Sie ermöglichen die Datensammlung für das Monitoring und die Auswertung der Abläufe in Vollübungen. Für die Unterstützung der Sensorik wurde zudem eine Smartphone-App entwickelt.


Besonderes Augenmerk in MEASURE galt der Praxistauglichkeit der entwickelten Lösungen sowie der Berücksichtigung rechtlicher und ethischer Rahmenbedingungen (6.1E) für ihren Einsatz zur Bewertung des Übungserfolgs. Die entwickelten Methoden und Werkzeuge wurden erfolgreich in realitätsnahen Tests (5.1E) mit Kräften des Österreichischen Roten Kreuzes und österreichischer Feuerwehren erprobt. Die Ergebnisse (5.2E) zeigen ein hohes Potenzial zur Effizienzsteigerung im Übungsbetrieb und zur nachhaltigen Verbesserung des Krisen- und Katastrophenmanagements.

zurück