FFG Projektdatenbank

zurück

RoMInG

Robuste Multi-Agenten-Zustandsschätzung für Infrastruktur-Inspektion in GPS-gestörten Gebieten

Projektbeschreibung

In den letzten Jahren hat die autonome Drohnentechnologie ihre Fähigkeiten zur Unterstützung vieler realer Aufgaben drastisch erhöht und völlig neue Möglichkeiten in den Bereichen Präzisionslandwirtschaft, Umweltüberwachung, Inspektion, Sicherheit und Überwachung eröffnet. Trotz der raschen technologischen Fortschritte für diese Roboterplattformen und des enormen Forschungsaufwands in den entsprechenden Forschungsgemeinschaften werden Drohnen immer noch als einzelne Agenten bei Aufgaben eingesetzt, bei denen Menschen sie manuell platzieren, damit sie ihre vorprogrammierten GPS-basierten Wegpunkte fliegen können. Die Hürde, einzelne vollständig autonome Drohnen in Umgebungen ohne GPS einzusetzen, geschweige denn, mehrere Drohnen auf wirklich kooperative Weise einzusetzen, scheint für industrielle Akteure immer noch undurchdringlich zu sein. Gebiete mit ohne GPS Signalen erfordern, dass die Drohnen auf alternative Erfassungsmodalitäten zurückgreifen, um ihren aktuellen Standort abzuschätzen und ihre Mission auf dem gewünschten Weg fortzusetzen. Allerdings stecken solche adaptive Multisensor-Fusionsstrategien im Hinblick auf Zuverlässigkeit und Robustheit gegenüber Umweltveränderungen noch in den Kinderschuhen. Auch Multi-Drohnen-Systemen, welche noch weit schwächer entwickelt sind, mangelt es noch stark an Robustheit, Skalierbarkeit und Recheneffizienz, um sie vom Elfenbeinturm der Grundlagenforschung in die raue Umgebung industrieller Anwendungen zu portieren.
In diesem vorgeschlagenen Projekt sind wir davon überzeugt, dass die Multisensor-Fusion auf einer einzigen Drohne und die kollaborative Zustandsschätzung in Multi-Drohnen-Systemen eng kombiniert werden müssen, um die Hürden zu überwinden, die derzeit den Einsatz solcher Systeme in der Industrie verhindern. In der Vergangenheit befassten sich die Forscher mit mehreren Sensoren auf einem System und der kollaborativen Zustandsschätzung für ein Roboterteam als separate Bereiche. Die Abstrahierung von Sensoren und anderen Agenten im Schwarm als kombinierte „Informationsanbieter“ zeigt jedoch schnell, dass es in den beiden scheinbar unterschiedlichen Bereichen viele Gemeinsamkeiten gibt. Wenn wir die Skalierbarkeit und Recheneffizienz, auf die sich die kollaborative Zustandsschätzung normalerweise konzentriert, mit der probabilistischen Konsistenz von Multiraten- und verzögerten Sensoren in Multisensor-Fusionsansätzen kombinieren, streben wir danach, ein vollständig verallgemeinertes und äußerst vielseitiges kollaboratives Multisensor-Fusions-Framework mit den Vorteilen beider Welten.
Der kombinierte Ansatz wird es Agenten ermöglichen, neben ihren eigenen unterschiedlichen Sensoren die Informationen anderer Agenten zu nutzen (z.B. durch relaying von sauberen GPS Signalen über mehrere Agenten), um Sensor- und Signalausfälle auf dem eigenen System abzufangen. Dadurch wird die Positionierung des einzelnen Agenten und des Gesamtschwarms deutlich verbessert und gegenüber herausfordernden Gebieten wesentlich widerstandsfähiger. Diese neue Widerstandsfähigkeit in realen Umgebungen kann das wesentliche Element für Multi-Drohnen-Systeme sein, um ihren Weg in heutige industrielle Anwendungen zu finden. In diesem Projekt werden wir die verbesserte Leistung für die Brückeninspektion mit den natürlich gegebenen GPS-losen Bereichen unter der Brücke demonstrieren. Die verbesserte Lokalisierung wird es den Drohnen nicht nur ermöglichen, Daten/Bilder aus bisher unmöglichen, GPS-losen Bereichen zu sammeln, sondern auch eine viel bessere Positionsannotation für die gesammelten Daten zu machen. Letzteres ist ein wichtiges Element für nachfolgende 3D-Rekonstruktionsaufgaben zur Modellierung eines digitalen Zwillings der Brücke. Während bisherige Methoden an den verfälschten Positionsannotation der Daten scheitern, wird unser Positionierungssystem die Präzision und Qualität digitaler Zwillinge im BIM deutlich steigern.

Abstract

In recent years, the autonomous drone technology drastically increased its abilities to support many real-world tasks and opened completely new possibilities in precision farming, environmental monitoring, inspection, security, and surveillance applications. Despite the steep technology advances for these robotic platforms and the vast research effort in the corresponding communities, drones are still used as single agents in tasks where humans manually place them so they can fly their pre-programmed GPS based way-points. The hurdle to use fully autonomous drones in GPS challenged environments, let alone to use multiple drones in a truly cooperative fashion seems still to be impenetrable for industrial players. Areas with obstructed GPS signals require the drones to fall back to alternative sensing modalities in order to estimate their current location and continue their mission on the desired path. However, such adaptive multi-sensor fusion strategies are still in their infancy in view of reliability and resilience to environmental changes. Even at lower TRL, multi-drone systems still heavily lack on robustness, scalability, and computational efficiency for them to be ported from the ivory tower of basic research to the harsh environment in industrial applications.
In this proposed project, we are convinced that multi-sensor fusion on a single drone and collaborative state estimation in multi-drone systems need to be tightly combined to overcome the hurdles currently preventing such systems to be applied in industry. In the past, researchers tackled multiple sensors on one system and collaborative state estimation for a team of robots as separate areas. However, abstracting sensors and other agents in the swarm as combined "information providers" quickly reveals that there are many similarities in the two seemingly different areas. When we combine the scalability and computational efficiency collaborative state estimation is usually focusing on with the probabilistic consistency of multi-rate and delayed sensors in multi-sensor fusion approaches, we strive towards generating a fully generalized and highly versatile collaborative multi-sensor fusion framework with the benefits of both worlds.
The combined approach will enable agents to use, apart of their own different sensors and mitigation strategies, other agents’ information (e.g. clean GPS signal relaying across agents) to mitigate signal loss for the own state estimation. Thus the positioning of the single agent and the overall swarm will be significantly improved and much more resilient to challenging areas. This unprecedented resiliency in real environments can bring the game-changing element for multi-drone systems to find their way to industrial applications of today. In this project, we will showcase the improved performance on the application of bridge inspection with the naturally given GPS challenged areas underneath the bridge. The improved localization not only will the drones allow to gather data/images from previously impossible, GPS-obstructed areas but also will enable much better position annotation for the gathered data. The latter is an important element for subsequent 3D reconstruction tasks modeling a digital twin of the bridge. Whereas current methods fail due to the corrupted initial position annotation, our positioning system will significantly increase the precision and quality of digital twins in the BIM.

zurück