FFG Projektdatenbank

zurück

RAISA

Railway AI Safety Assistant

Projektbeschreibung

Verstärkt durch die Notwendigkeit der CO2 Reduktion und somit gesellschaftliche und politische Maßnahmen nimmt der Trend zur Bahnreise sowohl im Nahverkehr als auch Fernverkehr in Österreich und Europa immer stärker zu. Speziell bei der jungen Bevölkerung erlebt die Bahn einen richtigen Popularitätsanstieg. Dies fordert jedoch das System in Bezug auf Effektivität und Sicherheit zunehmend. Die kritischen Faktoren sind dabei vor allem die Abfertigungszeiten und die effiziente Verteilung der Passagiere am Bahnsteig und im Zug. Intelligente Sensorsysteme zur Unterstützung des Zugfahrers bzw. der Zugfahrerin und des Zugpersonals sind dabei ebenso wichtig wie die Interaktion mit den Passagieren am Bahnsteig und im Zug durch Informationsanzeigen und Lenkungsmaßnahmen.

Die automatische Erkennung von Objekten und Personen im Bereich der Türen und vor allem zwischen Zügen und Bahnsteigkanten sind für Verkehrsbetriebe von größter Bedeutung. Einerseits hat dies einen “Safety”-Grund, um Passagiere und Fahrzeuge zu schützen, andererseits geht es auch um die Unterstützung der Fahrer, um rascher zu erkennen, ob der Zug abfahren kann. Das RAISA Konsortium hat sich bereits im Rahmen des RAILEYE3D (FFG-Nr. 871520) intensiv mit der Umsetzung von Stereo Vision Sensoren und Machine-Learning Sensoriken für die robuste und zuverlässige Detektion von Personen im Gefahrenbereich beschäftigt. Dabei wurde auch erforscht, inwieweit sich Tiefenbilder und Deep-Learning verfahren aus dem 3D/2D Bild für die Überwachung der Fahrzeugseite eignen. Speziell für Fernzüge ist eine hochgenaue Erfassung der Bahnsteigkante („Ground-Plane assumption“) und der Personen/Passagiere entlang des Fahrzeugs mit der Kombination aus Stereo-Matching und Deep-Learning erstmals möglich. RAILEYE3D hat dabei gezeigt, dass eine umfangreiche Daten- und Trainingsbasis für eine generalisierte KI-Sensorik erforderlich ist, um alle möglichen Bahnsteige und Bahnhofsumfeldsituationen abzudecken. Darüber hinaus ist die Art und Weise der Darstellung für den Fahrer von größter Bedeutung, dies wurde in RAILEYE3D nicht behandelt.

Hieraus ergeben sich folgende Forschungsfragen (TRL3&4):
• Algorithmen und Methoden zur Generierung von verallgemeinerbaren Trainingsdaten für Bahnanwendungen
• Algorithmen zum effektiveren Lernen der Deep-Learning Neuronalen Netze mit weniger Trainingsdaten
• Weiterentwicklung von Multi-Object-Tracking Verfahren zum besseren Szenenverständnis der Situationen auf dem Bahnsteig bzw. im Zuginneren
• Verfahren zur semi- oder vollautomatischen Erzeugen von Trainingsdaten aus Datenaufzeichnungen
• Visualisierung der Ergebnisse durch Augmented Reality Ansätzen für den Fahrer bzw. die Fahrerin

Die RAISA Forschungsergebnisse werden sein:
• Ergebnis 1 – Synthetischer automatisierter funktionaler Daten-Generator validiert anhand eines beispielhaften Action Recognition Datensatzes – zur Erkennung von Ereignissen in Videostreams/-files/-daten (AP3, TRL3)
• Ergebnis 2 – Trainierter & validierter Deep-Learning Algorithmus zur Realisierung der Use-Cases wie z.B. Abfertigungsassistent (AP4+5, TRL4)
• Ergebnis 3 – Validierte Visualisierung & Repräsentation der Ergebnisdaten (AP5, TRL4)
• Ergebnis 4 – Empfehlungen für Methoden zur “Safety” Begutachtung von KI zur Bestimmung der Zuverlässigkeit von KI basierten Assistenzsystemen im Bahnbereich (AP2, TRL3)

Abstract

Reinforced by the need for CO2 reduction and thus social and political measures, the trend towards rail travel is increasing more and more in Austria and Europe, both for local and long-distance travel. Especially among the young population, the railroad is experiencing a real popularity rise. However, this is increasingly challenging the system in terms of effectiveness and safety. The critical factors here are, above all, check-in times and the efficient distribution of passengers on the platform and in the train. Intelligent sensor systems to support the train driver and the train crew are just as important as the interaction with passengers on the platform and in the train through information displays and guidance measures.

The automatic detection of objects and persons in the area of the doors and especially between trains and platform edges are of utmost importance for transportation companies. On one hand this has a "safety" reason to protect passengers and vehicles, on the other hand it is also about the support of the drivers to recognize faster whether the train can depart. The RAISA consortium has already worked intensively on the implementation of stereo vision sensors and machine-learning sensor systems for the robust and reliable detection of persons in the danger zone within the framework of RAILEYE3D (FFG-Nr. 871520). In the process, research was also conducted into the extent of which depth images and deep-learning processes from the 3D/2D image are suitable for monitoring the side of the vehicle. Especially for long-distance trains, a highly accurate detection of the platform edge ("ground plane assumption") and the persons/passengers along the vehicle is possible for the first time with the combination of stereo matching and deep learning. In this context, RAILEYE3D has shown that an extensive data and training base for a generalized AI sensor system is required to cover all possible platforms and station environment situations. In addition, the way the display is presented to the driver is of utmost importance, this was not addressed in RAILEYE3D.

This leads to the following research questions (TRL3&4):
- Algorithms and methods for generating generalizable training data for rail applications.
- Algorithms for more effective learning of deep-learning neural networks with less training data
- Multi-Object-Tracking methods for better scene understanding of situations on the platform or inside the train
- Methods for semi- or fully automatic generation of training data from data recordings
- Visualization of the results by augmented reality approaches for the driver.

The RAISA research outcomes will be:
- Outcome 1 - Synthetic automated functional data generator validated against an exemplar action recognition dataset - for recognition of events in video streams/files/data (AP3, TRL3).
- Outcome 2 - Trained & validated deep-learning algorithm for realization of use-cases such as check-in assistant (AP4+5, TRL4)
- Result 3 - Validated visualization & representation of the result data (AP5, TRL4)
- Outcome 4 - Recommendations for methods for "safety" assessment of AI to determine the reliability of AI-based assistance systems in the railroad sector (AP2, TRL3)

Endberichtkurzfassung

Das Projekt RAISA hatte zum Ziel Methoden zur Datengenerierung und -qualitätssicherung für Deep-Learning zur visuellen Umfelderfassung von Zügen in Bahnhöfen zu erforschen. Darüber hinaus wurde die Eignung der trainierten neuronalen Netze für die Erfüllung von konkreten Anwendungsfällen der OEBB untersucht. Im Rahmen des Projektes konnten alle geplanten Projektziele erreicht und der Nachweis erbracht werden, dass die Basistechnologie für die Verwendung im ÖPNV zur Automatisierung der Abfertigung von Zügen geeignet ist.

Das Trainieren von Modellen im Bereich maschinelles Lernen benötigt oft mehr Daten als verfügbar sind. Für die Aufgabe der Erkennung von menschlichen Handlungen („Action Recognition“) besteht zudem häufig ein Mangel an Diversität der Szenarien, etwa Aufnahmen bei Nacht oder an unterschiedlichen Orten. Zusätzlich können Datenschutzbedenken hierbei die Verfügbarkeit von gesammelten Daten einschränken. Im Rahmen von RAISA wurden hierfür zwei komplementäre Ansätze entwickelt, um realistische Videodaten menschlicher Handlungen durch Videokomposition künstlich zu generieren. Der Erste war der „ Transfer von Bilddaten “ durch Automatische Erkennung einer Person in einem Vordergrundvideo und anschließendes Einfügen dieser Person (gesamter Verlauf) in ein neues Hintergrundvideo. Der Zweite war der „ Generator für virtuelle Personen “ zur Erstellung einer synthetischen Bildsequenz einer generierten Person, welche dieselben Bewegungen wie eine reale Person im Vordergrundvideo ausführt. Beide generativen Methoden zeigten überraschend gute Ergebnisse und konnten im Projekt RAISA für das Trainieren und Validieren der Künstlichen Intelligenz zur automatisierten Selbstabfertigung von Zügen erfolgreich eingesetzt werden.

Als KI wurden modernste "End-to-End" Netze wie YOLOv11 und alternative eingesetzt um die Objektdetektion zu realisieren. Diese wurden sowohl für den Einstiegsbereich im Zuginnenraum als auch für die Bahnsteige bzw. Spaltraumüberwachung trainiert. Mit den akquirierten Daten wurden darüber hinaus auch maschinelle Lernverfahren zur Detektion der Bahnsteige bzw. des Spaltraums erforscht. Diese konnten dann in Kombination mit den Objekterkennungsverfahren für die Realisierung der Anwendungen der OEBB im Rahmen der Feldtests auch erfolgreich erprobt werden.

Dazu wurde ein Testfahrzeug der OEBB - der 4020er Reihe - mit dem RAISA System ausgerüstet und anschließend über eine Testzeitraum von mehr als einem Jahr im täglichen Einsatz zur Überprüfung der Eigenschaften verwendet. Die gewonnenen Daten wurden entsprechend mit einer Grundwahrheit versehen und anschließend im Detail analysiert und ausgewertet. Bedingt durch Materialknappheit zu Projektbeginn (durch Corona) als auch einigen ungeplanten Defekten am Testsystem, verursacht durch Überspannungen, musste das Projektteam speziell im letzten Forschungsjahr erhöhte Anstrengungen bei der Auswertung und Analyse durchführen. Es konnte innerhalb des geplanten Projektzeitraums jedoch alles erfolgreich abgeschlossen werden.

Zusammenfassend kann also gesagt werden, dass die Technologie von RAISA für ÖPNV Betriebe von höchstem Interesse ist und im Rahmen des Projektes deren Tauglichkeit erfolgreich nachgewiesen werden konnte.

zurück