Better Scenario Testing

Better Scenario Testing

Hochqualitative szenariobasierte Tests für autonome Autos

Better Scenario Testing

Das Projekt Better Scenario Testing (BEST) richtet sich an Unternehmen, die an der Entwicklung selbstfahrender Fahrzeuge beteiligt sind. Wir helfen Unternehmen, qualitativ hochwertige Testfälle zu entwickeln, um die Vertrauenswürdigkeit ihrer autonomen Fahrzeuge zu bewerten. Dazu entwickelt BEST eine neuartige Methodik zur Ableitung von Tests aus Szenariotypen und eine Technologie zur Generierung von Szenariotypen aus vorher aufgezeichneten Fahrten.

Projektbeschreibung

Der vertrauenswürdige und sichere Betrieb von autonomem Fahrzeugen (AF) ist ein großer Engpass für die kommerzielle Einführung dieser neuen Technologie. Die Verbraucher müssen sich mit AFs sicher fühlen, sonst werden sie die Fahrzeuge nicht kaufen. Deshalb müssen die Entwickler Methoden entwickeln und freigeben, um die Sicherheit von AFs zu gewährleisten.

Die Validierung zielt auf den Nachweis ab, dass die Techniken für AFs die Anforderungen der Anwender erfüllen. Für Systeme, die Komponenten einsetzen, die Technologien der Künstlichen Intelligenz wie Maschinelles Lernen nutzen, ist diese Aufgabe besonders schwierig, da etablierte Engineering-Ansätze wie klassische Software-Verifikations- und Validierungs-Tests nicht direkt angewendet werden können.

In BEST entwickeln wir eine neuartige Methodik und Technologie zur Ableitung von Tests aus Datenbanken mit voraufgezeichneten Fahrten. Zu den Hauptforschungszielen von BEST gehören die Bereitstellung quantitativer Garantien für die erforderliche Qualität von Tests und die Entwicklung von Methoden zur besseren Testfallgenerierung.

Forschungsbeitrag

Ein verbreiteter Ansatz zum Testen von autonomen Fahrzeugen ist die zufällige Auswahl von Testfällen für virtuelle Tests aus vorher aufgezeichneten Fahrten. Um eine ausreichend hohe Abdeckung aller möglichen Situationen zu erreichen, sind jedoch riesige Datenmengen notwendig. Einige Studien legen nahe, dass Aufzeichnungen von mindestens 6,6 Milliarden Kilometern benötigt werden.

Außerdem sind die direkte Wiederverwendung aufgezeichneter Fahrten zu Testzwecken sowie der stichprobenartige Ansatz fragwürdige Unterfangen. Bei der Stichprobenprüfung ist der Suchbereich einfach zu groß. Bei der direkten Wiederverwendung von aufgezeichneten Fahrten ist die Qualität der aufgezeichneten Testfälle systemspezifisch: aufgezeichnete Testfälle können für ein System (Systemversion oder -variante) "gute" Testfälle sein und für ein anderes unbrauchbar. Folglich müssen systemspezifische Testfälle generiert werden.

Der im BEST-Projekt verfolgte Ansatz besteht darin, Datenbanken mit aufgezeichneten Fahr- oder Verkehrssituationen zu analysieren und mit Hilfe von Clustering-Techniken verschiedene abstrakte Szenarien, sogenannte Szenariotypen, zu ermitteln. Systemspezifische Tests werden dann generiert, indem nach bestimmten Parametereinstellungen in einem Szenariotyp gesucht wird, die dazu führen können, dass das System bestimmte Sicherheitsanforderungen nicht erfüllt, wie z. B. die Nichteinhaltung eines minimalen Sicherheitsabstands zwischen Autos.

Projektdauer

01.10.2019 – 30.09.2022

 Mojdeh Golagha

Ihr Kontakt

Mojdeh Golagha

+49 89 3603522 176
golagha@fortiss.org

Weitere Informationen

Projektpartner

Intel Labs – Science of Computing Research and Collaboration