MUKI

MUKI

Auf dem Weg zu quantifizierbar sicheren autonomen dynamischen Systemen

MUKI

Die Anwendung von KI-Technologie in autonomen Systemen, die in hochgradig unsicheren Umgebungen agieren, verursacht Schwierigkeiten bei der Argumentation von Sicherheit. MUKI (Modellierung von Unsicherheiten für und in KI) untersucht eine ganzheitliche Betrachtung von Unsicherheit, um zu einer quantifizierbaren Argumentation von Sicherheit unter diesen Bedingungen zu gelangen.

Projektbeschreibung

Autonome Systeme müssen Aufgaben in hochdynamischen Umgebungen lösen, z. B. beim autonomen Fahren oder bei Drohnenlieferdiensten. Dabei sind sie mit Umgebungsunsicherheiten konfrontiert, die durch ungenaue Wahrnehmung, inakkurate Vorhersagen und fehlerhafte dynamische Modelle der Umgebung entstehen. Bei der Implementierung solcher Systeme auf Basis lernfähiger und klassischer KI-Technologie kommen weitere Formen der Unsicherheit hinzu. Diese Kombination von Fehlerquellen macht es schwierig, eine quantifizierbare Sicherheitsargumentation für solche Systeme abzuleiten. Im Projekt MUKI wird untersucht, wie Laufzeitverifikation mit Verifkation während der Entwicklungsphase unter einem gemeinsamen Rahmenwerk kombiniert werden können, um ein quantifizierbares Sicherheitsargument unter der beschriebenen Aggregation von Unsicherheiten zu erhalten.

Forschungsbeitrag

Eine zentrale Forschungsfrage an der Schnittstelle zwischen klassischem Safety-Engineering und der Entwicklung von autonomen Systemen lautet wie folgt: Wie muss eine Architektur für autonome Systeme entwickelt werden, um eine quantifizierbare Sicherheitsargumentation unter Berücksichtigung von Unsicherheiten der Umwelt und der KI zu ermöglichen?

fortiss legt hier den Fokus auf die Verfeinerung und Detaillierung erster Standards, die die klassische Sicherheitsargumentation erweitern, um sie auf KI-basierte autonome Systeme anzuwenden.

Die Forschung von fortiss trägt in den folgenden Bereichen bei:

  • Repräsentation von unsicherheitsbehaftetem Wissen auf Umwelt- und KI-Ebene
  • Definition von Sicherheitsmetriken mit Einbezug von Unsicherheiten über verfügbares Wissen
  • Laufzeitüberprüfung von Wissen, welches Verwendung während der Entwicklungsphase von Systemkomponenten fand
  • Ableitung einer Sicherheitsargumentation für unsicherheitsbasierte Systemarchitekturen

Projektdauer

01.02.2021 – 31.12.2021

 Julian Bernhard

Ihr Kontakt

Julian Bernhard

+49 89 3603522 583
bernhard@fortiss.org