FFG Projektdatenbank

zurück

TERRA-V

KI-basierte Testplattform für die virtuelle Verifikation und Validierung autonomer militärischer Fahrsysteme

Projektbeschreibung

Im militärischen Kontext stellen autonom operierende Fahrzeugsysteme (UGV) für Aufklärungs-, Nachschub- und Medical Evacuation Aufgaben eine wesentliche Zukunftsperspektive dar. Zu den Herausforderungen für den Betrieb von UGV‘s im Gelände zählen die robuste Hinderniserkennung, eine intelligente Pfadplanung und Navigation mittels passiver Sensorik sowie eine effiziente Manöverdurchführung in unterschiedlichsten militärisch relevanten Terrains, Witterungs- und Sichtbedingungen.

Das Ziel des Projekts „TERRA-V“ ist die Erforschung und Bereitstellung einer umfassenden, KI-gestützten Simulationsplattform für die Entwicklung und Härtung der Perception-, Pfadplanungs- und Steuerungsalgorithmen für autonom betriebene militärische Fahrzeugen in militärisch relevanten Umgebungen und Terrains.

Dazu werden realitätsnahe Simulationsmodelle für ein Fahrzeugsystem, für die Umgebung (inkl. unbefestigtem Terrain mit diversen Hindernissen), für unterschiedlichste Witterungs- und Sichtbedingungen und für die passive Sensorik (Kameras und IMU) miteinander fusioniert. Beim Fahrzeugmodell sind sowohl die geometrischen als auch die fahrdynamischen Details der Karosserie, des Fahrwerks und des Antriebsstranges realitätsnah parametrisiert. Bei der Sensorik ist sowohl die Charakteristik als auch die Position und Ausrichtung der einzelnen Sensoren (z.B. Kameras und IMU) im Detail simuliert. In das virtuelle Fahrzeug wird die autonome Fahrfunktion implementiert.

Eine wesentliche Neuheit des Projekts ist die Nutzung künstlicher Intelligenz zur Generierung kritischer, militärisch-relevanter Testfälle für die Robustheitsprüfung autonomer Systeme. Dazu werden die komplexen Interaktionen im militärischen Einsatz kombiniert, d.h. Terrain, Hindernisse, Witterung, Licht/Sicht und andere Akteure wie Fahrzeuge und Personen, um einen Fehler oder ein unerwünschtes Verhalten des UGV‘s hervorzurufen. Diese Methode dient zur Prüfung und Optimierung sogenannter „edge cases“.

Eine weitere Forschungsaufgabe ist die Entwicklung militärisch relevanter „Key Performance Indicators“ (KPI). Diese beinhalten quantitative Beurteilungsmerkmale für (1) die funktionale Sicherheit zur Vermeidung von Kollisionen, (2) die Qualität der effektiven Pfadplanung in Bezug auf Wegzeit und Bewegungsenergieeinsatz, (3) die Schonung von Personen, Ladung und Material, und (4) die Qualität der Umgebungswahrnehmung und Lokalisierung ohne GNSS. Im Zuge der Simulation wird beim Befahren der Szenarien jeweils ein Satz von KPIs errechnet und mit Sollwerten abgeglichen. Solange es Abweichungen von den Soll-Werten gibt, wird der Algorithmus so lange optimiert, bis alle Sollwerte in allen kritischen Fahrmanövern erfüllt werden.

Die Fahrzeug-, Sensor- und Geländemodelle können ohne Einschränkungen ausgetauscht, modifiziert oder erweitert werden, sodass die TERRA-V Simulationsplattform für alle militärisch relevanten Einsatzbereiche (inkl. „Cross-country movement“) verwendet werden kann. Der Fokus liegt jedenfalls beim Einsatz im „GNSS-denied Environment“ und der Verwendung von ausschließlich passiver Sensorik. Als Endergebnis des Projektes wird ein Softwarepaket mit einer gut bedienbaren Nutzeroberfläche bereitgestellt, das die oben beschriebenen Leistungsmerkmale aufweist. Die Validierung des Systems erfolgt mit einem autonomen „System under Test“, anhand dessen die Performance demonstriert wird.

Abstract

In the military context, autonomously operating ground vehicles (UGV) for reconnaissance, logistics and medical evacuation tasks represent an essential future perspective. The special challenges for the operation of UGVs in terrain include robust obstacle detection, intelligent path planning and navigation using passive sensors only as well as efficient maneuvering in a wide range of military relevant terrains, weather, and visibility conditions.

The objective of the project "TERRA-V" is to provide a comprehensive, AI-supported simulation platform for the development and optimization of perception, path planning and control algorithms for autonomously operated military vehicles in military-relevant environments.

For this purpose, detailed simulation models for a vehicle system, an environment, various weather and visibility conditions, and a passive sensor system are fused together. In the case of the vehicle model, the geometrical data as well as the details and characteristics of the body, chassis and powertrain are parametrized in detail. In the sensor suite, both the characteristics and the position of the individual sensors (e.g. cameras and IMU) are simulated in detail. The autonomous driving algorithm is implemented in the vehicle.

A significant innovation of the project is the use of artificial intelligence to generate critical, militarily relevant test cases for the robustness testing of autonomous systems. This involves combining complex interactions in military operations, including terrain, obstacles, weather, lighting/visibility, and other actors such as vehicles and personnel, to induce errors or undesirable behavior in the UGVs. This method is used to test and optimize so-called "edge cases".

Another essential research task is the development of militarily relevant Key Performance Indicators (KPIs). These include quantitative assessment metrics for (1) functional safety to avoid collisions, (2) the quality of effective path planning in terms of travel time and energy consumption, (3) the preservation and safety of personnel, cargo, and materials, and (4) the quality of environmental perception and localization without GNSS. During simulation, a set of KPIs is calculated for each scenario and compared with target values. The algorithm is iteratively optimized until all target values are met in all critical maneuvers.

The vehicle, sensor, and terrain models can be exchanged, modified, or expanded without limitations, enabling the TERRA-V simulation platform to be used for all military-relevant scenarios, including cross-country movement. The focus is particularly on operation in GNSS-denied environments using exclusively passive sensor technology. The project culminates in a software package with a user-friendly interface that incorporates the described performance features. System validation is conducted using an autonomous "System under Test" to demonstrate performance.

zurück