ADEX

Autonomous-Driving Examiner

Programm / Ausschreibung IKT der Zukunft, IKT der Zukunft, IKT der Zukunft - 8. Ausschreibung (2019) Status laufend
Projektstart 01.11.2020 Projektende 31.10.2023
Zeitraum 2020 - 2023 Projektlaufzeit 36 Monate
Keywords autonomous driving, verification and validation, testing, machine learning, reinforcement learning

Projektbeschreibung

Intelligente Mobilität ist eine der großen technologischen Herausforderungen im Kon-text von KI und Internet der Dinge. Unsere Gesellschaft verspricht sich vom Autono-men Fahrer (hier verwendet für Systeme zur Steuerung hochautomatisierter Fahrzeu-ge), die Anzahl an Verkehrstoten und die Umweltbelastung drastisch zu reduzieren. Im letzten Jahrzehnt wurden bereits viele Fortschritte erzielt, z.B. ersichtlich an Fahrzeu-gen der Firma Tesla, die im Autopilot-Modus auf verschiedenen Straßen innerhalb der USA fahren. Jedoch zeigen Unfälle eben dieser Autos deutlich Schwachstellen des derzeitigen Stands der Technik auf. Anerkannte Grundsätze für das Design fehlertole-ranter Systeme scheinen derzeit nicht ausreichend berücksichtigt zu werden; Zertifi-zieren beispielsweise der Objekterkennung gilt als schwierig, und die Psychologie von Fußgängern und Autofahrern im gemischten Verkehr zusammen mit autonomen Au-tos ist noch weitgehend ungeklärt.
Werden wir jemals in der Lage sein, autonomen Fahrern voll zu vertrauen? Was ist nötig, damit wir unsere Kinder sorgenfrei einem hochautomatisierten Fahrzeug anver-trauen können, das sie unbeaufsichtigt durch die Stadt transportiert?
Menschen absolvieren eine Führerscheinprüfung, in der sie Prüfern ihr Können de-monstrieren müssen, um so Erlaubnis für selbstständiges Fahren zu erlangen. Analog dazu schlagen wir in ADEX eine umfassende, das menschliche Verhalten berücksichti-gende Fahrprüfung für autonome Fahrer mit multidisziplinärem Ansatz vor, welche design-agnostisch (d.h. unabhängig vom Konzept des autonomen Fahrers) dessen Schwachstellen und versteckte Fehler aufdeckt. Diese Fahrprüfung arbeitet mit einer großen Menge realistisch simulierbarer Verkehrssituationen („scenarios“), mit psycho-logie-basierten Verhaltensmodellen für Fußgeher und Fahrer, und mit einer Vielzahl an Wetter- und Straßenbedingungen. Analyse und Test des Verhaltens des autono-men Fahrers in übliche Verkehrssituationen spielt eine wichtige Rolle; besonderes Augenmerk wird auf Sonderfälle („edge-cases“) gelegt, welche im normalen Ver-kehrsalltag selten auftreten, den autonomen Fahrer aber in Grenzbereiche bringen, um dadurch zuvor unerkannte Probleme zu entdecken. Aus der österreichischen Un-falldatenbank und systematischer Unfallforschung werden zusätzlich realistische, kriti-sche Test-Szenarien synthetisch generiert. Oft werden Unfälle durch bestimmte tech-nische und menschliche (psychologische und physiologische) Faktoren verursacht; dieses Zusammentreffen wird im Projekt mithilfe holistischer Unfallsforschung bei besonderen Häufungen („hot spots“) untersucht. Das Verhalten des getesteten auto-nomen Fahrers wird detailliert bewertet. Daraus abgeleitete „rewards“ ermöglichen es reinforcement-learning Methoden, vermehrt Szenarien zu generieren, die Schwach-stellen (betreffend Sicherheit, Reglement, Komfort) des autonomen Fahrers zu Tage treten lassen. Gleich einer Führerscheinprüfungen soll diese Fahrprüfung für autono-me Fahrer unserer Gesellschaft ermöglichen, Vertrauen in die Zuverlässigkeit der Sys-teme zu fassen und sie auf unseren Straßen zu akzeptieren. Das interdisziplinäre Kon-sortium umfasst Experten zu KI, Sicherheit, fehlertolerantes Design, CPS, menschliche Psychologie in Verkehrssituationen und Standardisierung. Ein unabhängiges Berater-gremium (IAB) aus Experten für rechtliche und ethische Aspekte der KI, der virtuellen autonomen Fahrsimulation und Vertretern von Führerscheinschulen sowie von Regu-lierungs- und Zertifizierungsbehörden hilft in der Projektsteuerung.

Abstract

Smart mobility is one of the grand technological challenges of cyber-physical systems in the era of artificial intelligence and the Internet-of-Things. More specifically, autono-mous-driving controllers are a major priority of our modern society with the great promise of dramatically reducing human fatalities and to decrease pollution. While many advances have already been achieved over the past decade, such as Tesla’s cars driving in Autopilot mode on various roads within the US, the very accidents of some of these cars clearly expose the vulnerabilities of the current state-of-the-art. In particu-lar, highly automated vehicles appear to ignore some of accepted principles for the design of fault-tolerant systems; certification of object-recognition techniques is caus-ing major concerns, and the psychology of pedestrians and car drivers in mixed-traffic together with autonomous cars is largely unexplored.
Will we ever be able to fully trust autonomous-driving controllers? What is needed so we can light-heartedly entrust our children to such highly automated vehicle, having them shuttled unattended across town?
Human drivers have to prove their abilities to a driving examiner, before being allowed to drive autonomously. Following this analogy, we propose in ADEX a multidisciplinary approach to the design and synthesis of a comprehensive, human-centric, autono-mous-driving examination, which is agnostic to the particular design (i.e., independent of its underlying concept) of an autonomous-driving controller, to expose its vulnera-bilities or unknown flaws. The driving examination will consist of a large set of realisti-cally simulated traffic situations, called scenarios, with psychology-based human be-havioral models for pedestrians and drivers, and various weather and road conditions. While the analysis and testing of the behavior of the autonomous-driving controller in normal traffic conditions will play a very important role, a special emphasis will be put on edge cases rarely occurring in normal traffic, to allow uncovering hidden issues. For the autonomous-driver such edge cases might represent system limiting situations. Analysis of real-world traffic accidents will be used to synthetically generate new, real-istic and critical traffic scenarios for testing. Causes of accidents are often resulting from the interaction of technical and human (psychological and physiological) factors and both will be studied using holistic accident analysis on hot spots. Actions of the autonomous-driving controller will be thoroughly quantified in form of rewards, that will be exploited by reinforcement-learning techniques, to more and more generate traffic situations in which the autonomous-driving controller would fail (towards safety, regulation and comfort criteria). As for the human-driving examination, if an autono-mous-driving controller passes it, we as a society will achieve a greater confidence in the system’s reliability and will be more inclined to accept it on our roads. The pro-posed work will be driven by an interdisciplinary consortium, with experts in artificial intelligence, safety, fault-tolerant design, cyber-physical systems, human psychology in traffic situations and standardization efforts in autonomous driving. The project direc-tions will be steered, and the outcomes followed by an Independent Advisory Board (IAB), consisting of experts in legal and ethical aspects of artificial intelligence, virtual autonomous driving simulation and representatives from driving license schools as well as regulatory and certification bodies. ADEX aims at developing a trustworthy frame-work for automatically examining autonomous-driving controllers.