Robuste KI

Robuste KI

Sichere und verlässliche Künstliche Intelligenz für kognitive, autonome Systeme

Robuste KI

Eingebettete Steuerungssysteme bieten ein enormes Potenzial für den Einsatz von KI-Techniken. Selbstfahrende Autos, medizinische Entscheidungshilfen und die Überwachung der technischen Infrastruktur sind nur einige Beispiele. Aktuelle KI-Technologien, insbesondere Lernsysteme, sind jedoch offenkundig unzuverlässig und unsicher und werden daher in der Regel noch nicht in operativen, unternehmenskritischen Systemen eingesetzt.

Projektbeschreibung

Was wir brauchen sind zuverlässige KI-Softwaresysteme, die in unsicheren und unvorhersehbaren Umgebungen zeitnah und sicher Entscheidungen treffen können, die resistent gegen gezielte Angriffe sind und immer größere Datenmengen in Unternehmen und Organisationen verarbeiten können, ohne die Vertraulichkeit und den Datenschutz zu beeinträchtigen.  Wesentliche Anforderungen der EU-Datenschutz-Grundverordnung bei der Verarbeitung personenbezogener Daten könnten auch durch zuverlässige und transparente KI-Algorithmen erfüllt werden.

Forschungsbeitrag

Die zentrale Forschungsfrage an der Schnittstelle von KI und Softwareentwicklung für den erfolgreichen Einsatz von KI-Techniken in eingebetteten und unternehmenskritischen Systemen lautet: Wie können KI-verstärkte und insbesondere kontinuierlich selbstlernende Softwaresysteme zuverlässig und sicher entwickelt und betrieben werden? Offene Forschungsfragen des zuverlässigen KI-Engineerings umfassen alle Phasen des traditionellen Systems-Engineerings einschließlich der Spezifikation, des Architekturdesigns, der Implementierung, des Testens und der Verifizierung sowie der datengesteuerten Anpassung und Optimierung von KI-Systemen und der dynamischen Zertifizierung von unternehmenskritischen Lernsystemen während des Betriebs.

Die Forschungsarbeiten von fortiss tragen dabei insbesondere Ergebnisse zu folgende Aspekten bei:

  • validiertes Vorgehensmodell zur beherrschbaren Entwicklung und zum Betrieb vertrauenswürdiger, kognitiver cyperphysische Systeme (CPS)
  • durchgehend verlässliche und sichere kognitive Architektur für missionskritische autonome Systeme
  • neue Ansätze zu Design, Verifikation und Zertifizierung für kontinuierlich lernende und robuste KI-gestützte Softwaresysteme
  • Management transparenter Mensch-KI-Interaktion durch intelligente Benutzerschnittstellen

Förderung

Bayerische Staatsregierung im Rahmen der Förderung für das KI-Zentrum

    Dr. Holger Pfeifer

    Ihr Ansprechpartner

    Dr. Holger Pfeifer

    +49 89 3603522 29
    pfeifer@fortiss.org

    Publikationen