FFG Projektdatenbank

zurück

RAISA

Railway AI Safety Assistant

Projektbeschreibung

Verstärkt durch die Notwendigkeit der CO2 Reduktion und somit gesellschaftliche und politische Maßnahmen nimmt der Trend zur Bahnreise sowohl im Nahverkehr als auch Fernverkehr in Österreich und Europa immer stärker zu. Speziell bei der jungen Bevölkerung erlebt die Bahn einen richtigen Popularitätsanstieg. Dies fordert jedoch das System in Bezug auf Effektivität und Sicherheit zunehmend. Die kritischen Faktoren sind dabei vor allem die Abfertigungszeiten und die effiziente Verteilung der Passagiere am Bahnsteig und im Zug. Intelligente Sensorsysteme zur Unterstützung des Zugfahrers bzw. der Zugfahrerin und des Zugpersonals sind dabei ebenso wichtig wie die Interaktion mit den Passagieren am Bahnsteig und im Zug durch Informationsanzeigen und Lenkungsmaßnahmen.

Die automatische Erkennung von Objekten und Personen im Bereich der Türen und vor allem zwischen Zügen und Bahnsteigkanten sind für Verkehrsbetriebe von größter Bedeutung. Einerseits hat dies einen “Safety”-Grund, um Passagiere und Fahrzeuge zu schützen, andererseits geht es auch um die Unterstützung der Fahrer, um rascher zu erkennen, ob der Zug abfahren kann. Das RAISA Konsortium hat sich bereits im Rahmen des RAILEYE3D (FFG-Nr. 871520) intensiv mit der Umsetzung von Stereo Vision Sensoren und Machine-Learning Sensoriken für die robuste und zuverlässige Detektion von Personen im Gefahrenbereich beschäftigt. Dabei wurde auch erforscht, inwieweit sich Tiefenbilder und Deep-Learning verfahren aus dem 3D/2D Bild für die Überwachung der Fahrzeugseite eignen. Speziell für Fernzüge ist eine hochgenaue Erfassung der Bahnsteigkante („Ground-Plane assumption“) und der Personen/Passagiere entlang des Fahrzeugs mit der Kombination aus Stereo-Matching und Deep-Learning erstmals möglich. RAILEYE3D hat dabei gezeigt, dass eine umfangreiche Daten- und Trainingsbasis für eine generalisierte KI-Sensorik erforderlich ist, um alle möglichen Bahnsteige und Bahnhofsumfeldsituationen abzudecken. Darüber hinaus ist die Art und Weise der Darstellung für den Fahrer von größter Bedeutung, dies wurde in RAILEYE3D nicht behandelt.

Hieraus ergeben sich folgende Forschungsfragen (TRL3&4):
• Algorithmen und Methoden zur Generierung von verallgemeinerbaren Trainingsdaten für Bahnanwendungen
• Algorithmen zum effektiveren Lernen der Deep-Learning Neuronalen Netze mit weniger Trainingsdaten
• Weiterentwicklung von Multi-Object-Tracking Verfahren zum besseren Szenenverständnis der Situationen auf dem Bahnsteig bzw. im Zuginneren
• Verfahren zur semi- oder vollautomatischen Erzeugen von Trainingsdaten aus Datenaufzeichnungen
• Visualisierung der Ergebnisse durch Augmented Reality Ansätzen für den Fahrer bzw. die Fahrerin

Die RAISA Forschungsergebnisse werden sein:
• Ergebnis 1 – Synthetischer automatisierter funktionaler Daten-Generator validiert anhand eines beispielhaften Action Recognition Datensatzes – zur Erkennung von Ereignissen in Videostreams/-files/-daten (AP3, TRL3)
• Ergebnis 2 – Trainierter & validierter Deep-Learning Algorithmus zur Realisierung der Use-Cases wie z.B. Abfertigungsassistent (AP4+5, TRL4)
• Ergebnis 3 – Validierte Visualisierung & Repräsentation der Ergebnisdaten (AP5, TRL4)
• Ergebnis 4 – Empfehlungen für Methoden zur “Safety” Begutachtung von KI zur Bestimmung der Zuverlässigkeit von KI basierten Assistenzsystemen im Bahnbereich (AP2, TRL3)

Abstract

Reinforced by the need for CO2 reduction and thus social and political measures, the trend towards rail travel is increasing more and more in Austria and Europe, both for local and long-distance travel. Especially among the young population, the railroad is experiencing a real popularity rise. However, this is increasingly challenging the system in terms of effectiveness and safety. The critical factors here are, above all, check-in times and the efficient distribution of passengers on the platform and in the train. Intelligent sensor systems to support the train driver and the train crew are just as important as the interaction with passengers on the platform and in the train through information displays and guidance measures.

The automatic detection of objects and persons in the area of the doors and especially between trains and platform edges are of utmost importance for transportation companies. On one hand this has a "safety" reason to protect passengers and vehicles, on the other hand it is also about the support of the drivers to recognize faster whether the train can depart. The RAISA consortium has already worked intensively on the implementation of stereo vision sensors and machine-learning sensor systems for the robust and reliable detection of persons in the danger zone within the framework of RAILEYE3D (FFG-Nr. 871520). In the process, research was also conducted into the extent of which depth images and deep-learning processes from the 3D/2D image are suitable for monitoring the side of the vehicle. Especially for long-distance trains, a highly accurate detection of the platform edge ("ground plane assumption") and the persons/passengers along the vehicle is possible for the first time with the combination of stereo matching and deep learning. In this context, RAILEYE3D has shown that an extensive data and training base for a generalized AI sensor system is required to cover all possible platforms and station environment situations. In addition, the way the display is presented to the driver is of utmost importance, this was not addressed in RAILEYE3D.

This leads to the following research questions (TRL3&4):
- Algorithms and methods for generating generalizable training data for rail applications.
- Algorithms for more effective learning of deep-learning neural networks with less training data
- Multi-Object-Tracking methods for better scene understanding of situations on the platform or inside the train
- Methods for semi- or fully automatic generation of training data from data recordings
- Visualization of the results by augmented reality approaches for the driver.

The RAISA research outcomes will be:
- Outcome 1 - Synthetic automated functional data generator validated against an exemplar action recognition dataset - for recognition of events in video streams/files/data (AP3, TRL3).
- Outcome 2 - Trained & validated deep-learning algorithm for realization of use-cases such as check-in assistant (AP4+5, TRL4)
- Result 3 - Validated visualization & representation of the result data (AP5, TRL4)
- Outcome 4 - Recommendations for methods for "safety" assessment of AI to determine the reliability of AI-based assistance systems in the railroad sector (AP2, TRL3)

zurück