SAFER
Smart Assistant For Enhanced Remote Digital Tower – Multimodal Artificial Intelligence in Air Traffic Management
| Programm / Ausschreibung | TAKE OFF, TAKE OFF, TAKEOFF Ausschreibung 2021 | Status | laufend |
|---|---|---|---|
| Projektstart | 01.11.2022 | Projektende | 31.10.2025 |
| Zeitraum | 2022 - 2025 | Projektlaufzeit | 36 Monate |
| Keywords | Artificial Intelligence, Remote Digital Tower, Object Detection and Tracking, Multimodal Deep Learning, Multi-sensor Data Fusion, Safety net, Air Traffic Management | ||
Projektbeschreibung
Remote Digital Tower (RDT) ist ein neu entstehender Markt im Bereich der Luftraumüberwachung. RDT ermöglich mittels real-time hochauflösender Videos eine Überwachung in einer entfernten Zentrale. Speziell wenn mehrere Towers von einer Zentrale überwacht werden können ermöglicht dies drastische Kostenreduktionen. Jedoch werden in solchen Szenarien erhebliche Anforderungen an die Sicherheit und Zuverlässigkeit von RDT-Systemen gestellt. Assistenztechnologien die dem Operator dabei helfen Objekte und Szenarien in den Videos zu identifizieren sind von entscheidender Bedeutung für zukünftige Systeme.
Das Ziel des Projektes „Smart Assistant For Enhanced Remote Digital Tower (SAFER)” ist es, die Sicherheit und Zuverlässigkeit von RDT systemen durch die Verwendung von multimodalen Artifical Intelligence (AI) technologien zu ermöglichen. Der Fokus des Projektes liegt in der Erforschund und Entwicklung von (1) video-zentrierter Objektdetektion und Objektverfolgungsmethoden. Sowohl Video als auch andere zur Verfügungstehende Information wie Radar, Flugpläne, und Audiokommunikation wird mit verwendet; (2) Multimodale Lerntechnologien zur Reduktion des Datenannotierungsaufwandes; (3) Sicherheitszentrierte Evaluation und Vergleich zu konventionellen Datenfusionsstrategien.
Das Projekt führt innovative Forschung für multimodale AI in den Gebieten Computer Vision, natürliche Sprachverarbeitung und Sprachverständnis im Gebiet von sicherheitskritschen RDT durch. Das Ziel ist es, verlässliche Objekterkennung und Verfolgung in hoch-auflösenden Videos durchzuführen. Besonders Augenmerk, liegt auf Objekten die noch weit vom Tower entfernt sind. Die primäre Innovation liegt in der Verwendung multimodaler Information.
Die Resultate ermöglichen Anwendungen für deutlich verbesserte und smarte Assistenzsysteme zur Kontrolle eines Towers. Die Ergebnisse gehen weit über bestehende Technologien hinaus. Die Ergebnisse erlauben erstmal sicherheitskritische Anwendungen der Objektdetektion. Damit werden neuartige Funktionen bei Assistenztechnologien ermöglicht. Der Controller soll deutlich entlastet werden, und vor Sicherheitskritischen Ereignissen gewarnt werden. Das trägt erheblich zur Sicherheit von Flughäfen bei, und dient auch der Kostenreduktion.
Abstract
Remote Digital Tower (RDT) has become an emerging market for next generation Air Traffic Control (ATC) solutions. RDT features a real-time video view of the airport’s airfield and control zone and enables centralized ATC from a remote site. Remote tower operation, especially for multiple remote towers, will significantly increase ATC capacity and reduce operating costs. The rapidly growing RDT market poses great challenges on safety and efficiency in the new operation model. Development of assistive tools to automatically locate and distinguish objects in the video to warn the controller about safety critical situations is a key step to resolve the challenges.
The goal of this project “Smart Assistant For Enhanced Remote Digital Tower (SAFER)” is to increase efficiency and ensure safety in remote digital tower operation through multimodal Artificial Intelligence (AI). The focus is on R&D of key technologies and methods, including (1) video-centric multi-sensory object detection and tracking technologies by exploiting multimodal digital information available in the RDT systems, i.e., video streams as well as radar surveillance, flight plan messages, and controller-pilot voice communication, (2) multimodal learning technologies to tackle data and data annotation challenges, and (3) safety-centric evaluation schemes to benchmark conventional data fusion and tracking system in Safety Nets framework.
This project conducts innovative research for multimodal AI algorithms and methods in the integrated fields of computer vision, natural language processing and speech processing for safety-critical RDT use cases and scenarios. This project aims at an innovative approach for reliable real-time object detection and tracking in high-resolution video streams with capability of recognizing far-airfield small objects and complex-trajectory targets. The innovations are based on the utilization of multimodal information and the exploration and fusion of multi-domain AI technologies and methods.
The industrial research results enable further development of enhanced and smart assistive tools for RDT controllers. Existing assistive tool provides only a basic object indication function that is far from reliable and accurate to be used for safety-critical decisions. The research results enable new technologies for reliable and accurate location and recognition of objects, and hence open up new possibilities to develop new smart assistive tool that can automatically generate reliable safety alerts to warn the controller for critical situations. This will increase efficiency and guarantee safety at airports and enable cost-efficient operation models, such as multi remote tower operations.