FFG Projektdatenbank

zurück

LAISA-5G

Low-Latency AI based Situatition Awareness on 5G data streaming

Projektbeschreibung

Technische Infrastrukturen wie Umspannwerke, Industrieanlagen oder Kraftwerke müssen regelmäßig inspiziert werden – bisher erfolgt dies meist manuell, mit hohem Personalaufwand und oft beträchtlichem Risiko für die eingesetzten Fachkräfte. Gleichzeitig stoßen bestehende Robotersysteme schnell an ihre Grenzen, insbesondere wenn es um den Einsatz in komplexen, dynamischen Umgebungen geht. Was fehlt, sind autonome Lösungen, die flexibel, intelligent und sicher agieren können – und das in Echtzeit.

Moderne mobile Robotik erfordert dafür nicht nur ausgeklügelte Sensorik und Künstliche Intelligenz, sondern vor allem auch eine leistungsfähige Kommunikationsinfrastruktur. Erst durch die niedrige Latenz, hohe Bandbreite und Zuverlässigkeit von 5G-Netzen wird es möglich, große Datenmengen – etwa aus Kameras oder LiDAR-Sensoren – nahezu verzögerungsfrei zu übertragen und zentral auszuwerten.

LAISA-5G verfolgt das Ziel, eine neue Systemarchitektur für mobile Inspektionsroboter zu entwickeln, bei der die robotereigene Sensorik mit einer cloudbasierten, KI-gestützten Perzeptions- und Entscheidungslogik verknüpft wird. Herzstück ist die Integration sogenannter Vision-Language Foundation Models (VLFMs), die es den Robotern ermöglichen, visuelle Informationen mit Textinputs in natürlicher Sprache zu verknüpfen und dadurch auf Kommandos kontextspezifisch zu reagieren.

Dank der 5G-Anbindung können diese rechenintensiven KI-Modelle nicht direkt am Roboter, sondern auf einer leistungsstarken Serverinfrastruktur betrieben werden – die Roboter erhalten in Echtzeit semantisch angereicherte Informationen zurück. Dies reduziert den Energiebedarf und die Hardwarekosten auf den mobilen Einheiten und ermöglicht gleichzeitig eine beispiellose Funktionalität: Textgesteuerte, adaptive Navigation und Objekterkennung in unbekannten Einsatzumgebungen.

Im Rahmen des Projekts wird ein prototypisches System realisiert und erprobt. Ziel ist es, visuelle Datenströme über 5G in Echtzeit zu übertragen, diese zentral auszuwerten und den Robotern handlungsrelevante Informationen zur Verfügung zu stellen – etwa zur gezielten Überprüfung eines Bauteils. Dabei wird auch Textinput in natürlicher Sprache zur Steuerung der Aufgaben demonstriert.

LAISA-5G leistet damit einen Beitrag zur Digitalisierung kritischer Infrastrukturen, zur Erhöhung der betrieblichen Sicherheit und zur Entlastung menschlicher Fachkräfte. Darüber hinaus eröffnet das Projekt neue Möglichkeiten für den Einsatz smarter Robotik in vielfältigen Bereichen – von der Industrie über den Katastrophenschutz bis hin zur öffentlichen Infrastruktur – und liefert Impulse für eine nachhaltige, effiziente und zukunftsorientierte Automatisierung.

Abstract

Technical infrastructures such as substations, industrial plants or power stations need to be inspected regularly - until now, this has mostly been done manually, with high labour costs and often considerable risk for the persons involved. At the same time, existing robot systems quickly reach their limits, especially when it comes to use in complex, dynamic environments. What is missing are autonomous solutions that can act flexibly, intelligently and safely - and in real time.

Modern mobile robotics requires not only sophisticated sensor technology and artificial intelligence, but above all a powerful communication infrastructure. Only the low latency, high bandwidth and reliability of 5G networks make it possible to transmit and centrally analyse large volumes of data - from cameras or LiDAR sensors, for example - with virtually no delay.

LAISA-5G aims to develop a new system architecture for mobile inspection robots in which the robot's own sensor technology is linked to a cloud-based, AI-supported perception and decision-making logic. The centrepiece is the integration of so-called Vision-Language Foundation Models (VLFMs), which enable the robots to link visual information with text input in natural language and thus react to commands in a context-specific manner.

Thanks to the 5G connection, these computationally intensive AI models can be run on a powerful server infrastructure rather than directly on the robot - the robots receive semantically enriched information in real time. This reduces the energy requirements and hardware costs on the mobile units and at the same time enables unprecedented functionality: text-controlled, adaptive navigation and object recognition in unknown operational environments.

A prototype system is being realised and tested as part of the project. The aim is to transmit visual data streams via 5G in real time, analyse them centrally and provide the robots with action-relevant information - for example for the targeted inspection of a component. Text input in natural language is also demonstrated to control the tasks.

LAISA-5G thus contributes to the digitalisation of critical infrastructures, increases operational safety, and relieves the burden on the human workforce. In addition, the project opens up new possibilities for the use of smart robotics in a wide range of areas—from industry and civil protection to public infrastructure—and provides impetus for sustainable, efficient, and future-oriented automation.

zurück