Interview

IBM und fortiss - eine erfolgreiche Kooperation für eine verlässliche KI

Das Landesforschungsinstitut des Freistaats Bayern für softwareintensive Systeme fortiss und das Technologieunternehmen IBM haben vor genau zwei Jahren das Center for AI ins Leben gerufen, um sichere KI-Methoden für Wirtschaft und Gesellschaft zu entwickeln. Die Expert*innen von IBM und die Wissenschafter*innen von fortiss haben inzwischen mehrere KI-Forschungsprojekte erfolgreich umgesetzt. Im Fokus der Kooperation stand dabei immer die Frage: „Wann ist eine KI vertrauenswürdig und wie können Nutzer verstehen, wie oder warum eine KI Entscheidungen trifft?“ Dr. Holger Pfeifer, Kompetenzfeldleiter Software Dependability bei fortiss, koordiniert das Center for AI und ist Spezialist für Robuste KI. Im folgenden Interview berichtet er über die gewinnbringende Zusammenarbeit mit einem internationalen Technologieführer und über die durchgreifenden Fortschritte der vergangenen zwei Jahre.


Herr Pfeifer, das Center for AI wurde vor zwei Jahren ins Leben gerufen, um verlässliche und sichere KI-Technologien für Wirtschaft und Gesellschaft zu entwickeln. Welche Ergebnisse sind bisher zu verzeichnen?

Wir haben eine Reihe von Forschungslinien aufgesetzt und darin mehrere Projekte gestartet, z. B. in den Bereichen Mensch-zentriertes Maschinelles Lernen, Robotik, Behördendienstleistungen und verteiltes Lernen sowie Anomaliedetektion im Gebäudemanagement.

Im Themenbereich Mensch-zentriertes Maschinelles Lernen (human-centered machine learning, HCML) gehen wir der Frage nach, wie Anwendungen, die Maschinelles Lernen einsetzen, besser den Anforderungen eines menschlichen Nutzers gerecht werden können. Das heißt auf der einen Seite wird es für den Menschen einfacher, Entscheidungen der KI zu verstehen und nachzuvollziehen, und auf der anderen Seite, wie die individuellen Unterschiede zwischen den Nutzern schon direkt in die Entwicklung der Lernalgorithmen einfließen können. Diese Fragestellungen werden am Anwendungsfall des Stress-Managements für Feuerwehrleute im Einsatz untersucht. Da Menschen unterschiedlich auf Stresssituationen reagieren, muss ein Lernalgorithmus personalisiert, also in der Lage sein, das Ausmaß des Stresses für Feuerwehrleute individuell zu erkennen. Umgekehrt müssen die Signale der KI z. B. dem/der Zugführer*in so präsentiert werden, dass diese/r leicht erkennen kann, welche seiner/ihrer Einsatzkräfte sich in einer besonderen Stresssituation befindet. Hier entwickeln wir neue Modelle für die Stresserkennung auf Basis von verschiedenen Biosignalen und sogenanntem selbstüberwachtem Lernen (self-supervised learning).

Für den Einsatz von Robotern in der Fertigung entwickelten wir handhabbare und wirtschaftlich durchführbare Konfigurationen und Analyselösungen, die auch für kleine und mittlere Unternehmen nutzbar sind. Dazu wurden semantische Modelle erarbeitet, die beschreiben, welche Arbeitsvorgänge der Roboter durchführen soll. Diese Informationen werden mit Daten aus den Roboteraktionen verknüpft. Mittels Maschinellen Lernens ist das System dann in der Lage, ständig zu lernen, Abweichungen zu erkennen und bei Bedarf eine Warnung zu generieren, idealerweise schon bevor ein Fehler entsteht.

In Bezug auf Behördendienstleistungen haben wir untersucht, wie diese so gestaltet werden können, dass der Bürger sie online in Anspruch nehmen kann, ohne mühsam Formulare ausfüllen zu müssen, und wie sie dem Bürger proaktiv zur Verfügung gestellt werden können, z. B. bei bestimmten Ereignissen, ohne dass der Dienst dabei speziell beantragt werden muss. Wir haben dies an zwei beispielhaften Anwendungen demonstriert: der Beantragung von Kindergeld sowie der Erlaubnis zur Eröffnung einer Gaststätte.

Und schließlich arbeiten wir seit Kurzem an einer Anwendung zur Erkennung von Wasserschäden in Gebäuden. Hier nutzen wir Sensoren, die in dem Gebäude des Münchner IBM Watson Centers verbaut sind, um dynamisch Feuchtigkeitsdaten zu sammeln, und verknüpfen diese Ergebnisse mit statischen Gebäudeinformationen und Umweltdaten. Werden nun durch spezielle KI-Algorithmen Ereignisse in den dynamischen Sensordaten erkannt, die auf das Eindringen von Wasser hindeuten, so können diese mithilfe der ontologischen Daten nicht nur genauer lokalisiert werden, sondern es kann auch deren Ursache besser qualifiziert werden. So kann z. B. erkannt werden, ob das Ereignis durch ein offen stehendes Fenster, durch das Regen eindringt, oder etwa durch einen Rohrbruch verursacht wurde.


Mit IBM verbindet Sie bereits eine mehrjährige Zusammenarbeit. Warum ist gerade IBM ein guter Partner für diese Themen und was ist Gegenstand dieser gemeinsamen Unternehmung?

Ich denke, die zentralen Punkte sind, dass IBM weltweit führend auf dem Gebiet der KI ist und über ein großes, weltweites Netzwerk an renommierten Forschungszentren und Businesspartnern verfügt, die wissen, was in der Praxis benötigt wird. Neben der führenden Industrieexpertise von IBM ist auch der ethische Grundsatz sehr wichtig. IBM überlässt Partnern und Kunden die Entscheidung, welche Daten die KI nutzen soll (Transparenz) und wie sie mit ihren Daten eigene kognitive Lösungen bauen können.


Welche Herausforderungen sehen Sie beim jetzigen Stand der KI-Technologie?

KI-Systeme sind lernbasiert, d. h., ihre Funktion bzw. ihr Verhalten ergibt sich aus Daten, anhand derer sie trainiert werden. Solche Verfahren führen jedoch auch zu unvorhersehbarem Verhalten im Betrieb, was eine große Herausforderung für die Frage nach der Beherrschbarkeit solcher Systeme darstellt. Ferner sind KI-Lösungen auch immer nur so gut wie die Daten, mit denen sie trainiert worden sind. Dies stellt zunächst einmal die Frage nach der Verfügbarkeit geeigneter Daten und im zweiten Schritt nach deren Qualität – Stichwort repräsentative Daten und Einseitigkeit. KI-Systeme können sich durch fortwährendes Lernen auch weiterentwickeln und sich erfahrungsbasiert an neue Gegebenheiten anpassen oder optimieren. Dies macht die Entwicklung und vor allem das Testen und Absichern sehr schwierig. Etablierte Verfahren aus dem Software- und Systems-Engineering setzen voraus, dass genaue Spezifikationen des Systemverhaltens und der Einsatzumgebungen vorliegen und die Systeme vor der Inbetriebnahme umfassend verifiziert werden, was für KI-Systeme nicht ohne Weiteres machbar ist. Daher sind solche Verfahren auch nicht direkt übertragbar. Ferner operieren KI-Systeme oftmals in teilweise unbekannten oder unsicheren Umgebungen und müssen in robuster Weise mit ungenauen oder unsicheren Eingabedaten oder Situationen umgehen können, die vorab nicht oder nur unvollständig modelliert worden sind.


Momentan ist KI für viele Menschen eine Blackbox mit vielen Unbekannten. Wie wollen Sie an diesem Punkt das Vertrauen der Menschen gewinnen?

Ein wichtiger Aspekt der Vertrauenswürdigkeit ist die Frage nach der Nachvollziehbarkeit der KI-Entscheidungen: Kann ich als Nutzer verstehen, wie oder warum die KI eine bestimmte Entscheidung trifft? Hier geht es darum, KI-Methoden so zu entwickeln, dass sie dem Nutzer auch Erklärungen für die Ergebnisse liefern kann. Am IBM fortiss Center for AI haben wir dazu erst kürzlich ein Projekt gestartet, bei dem ein intelligenter Fahrassistent entwickelt werden soll, der bei einer Autobahnfahrt Empfehlungen gibt, welche Fahrspur benutzt werden bzw. wann die Spur gewechselt werden soll. Zugleich soll das System in der Lage sein zu erklären, warum eine bestimmte Empfehlung ausgesprochen wird. Da die Daten, auf deren Grundlage eine Empfehlung zum Spurwechsel getroffen wird, möglicherweise aus entfernteren Straßenabschnitten stammen, die der Fahrer noch gar nicht einsehen kann, wie zum Beispiel ein Unfall oder ein Stauende hinter einer Kurve, ist es für das Vertrauen des Fahrers in die Entscheidungen wichtig, diese nachvollziehen zu können.


Ab wann wird eine KI als robust und vertrauenswürdig definiert?

Als robust sehen wir eine KI-Lösung an, wenn sie auch in unbekannten Umgebungen oder unvorhergesehenen Situationen noch sicher funktioniert und gute Ergebnisse liefert. Hier können wir es mit einer Reihe von Unsicherheiten oder besser: Ungewissheiten zu tun haben. Das kann zum Beispiel daran liegen, dass bei der Entwicklung bzw. dem Training der KI gar nicht alle möglichen Situationen oder Umgebungseinflüsse betrachtet worden oder überhaupt bekannt sind. Außerdem kann es vorkommen, dass eine KI-Komponente schon eine falsche Entscheidung trifft, wenn die Eingabe nur leicht von den bekannten Situationen abweicht. Man kennt solche Probleme zum Beispiel aus der Bilderkennung, wo die Änderung nur weniger Bildpunkte etwa dazu führen kann, dass eine rote Verkehrsampel als „grün“ wahrgenommen oder ein Fußgänger gar nicht erkannt wird. Dies bietet natürlich auch die Gefahr von böswilligen Manipulationen, bei denen ein Angreifer versucht, die KI durch gezielte Eingaben zu stören. Insoweit ist das also auch eine Frage der Sicherheit der KI-Anwendung und damit ihrer Vertrauenswürdigkeit. Um KI-basierte Anwendungen in sicherheitskritischen Bereichen wie zum Beispiel dem autonomen Fahren oder der Medizinrobotik einsetzen zu können, müssen wir darauf vertrauen können, dass solches Fehlverhalten nahezu ausgeschlossen ist.


Welche Lösungen entwickelt das Center for AI um gezielt Behördendienste serviceorientierter und direkter zu gestalten?

Die Zukunft der öffentlichen Verwaltung ist proaktiv und interaktionslos. Behördliche Dienste sollen automatisch bereitgestellt werden, ohne dass Anwendungen benötigt werden und ohne dass der Bürger mit einer Anwendung interagieren muss. Mit unserem Projekt DR&P (Digital Readiness Assessment and Piloting for German Public Services) am Center for AI wollen wir das Konzept der proaktiven und interaktionslosen Behördendienste in die Praxis umsetzen. Daher haben wir eine Analysemethode für die Einsatzbereitschaft bestimmter Dienste entwickelt und angewendet, bestehende Software-Frameworks erweitert und zwei Demonstratoren (für das Beantragen von Kindergeld sowie für die Anmeldung einer Gaststätte) entwickelt. Durch unsere Forschung bieten wir Behördenpraktikern einen strukturierten Engineering-Ansatz zur Verknüpfung von visionärem Service-Design mit fortschrittlichen Technologien, um eine höhere Servicequalität für Bürger und Unternehmen zu erreichen. Eine Behörde, die proaktiv Dienstleistungen erbringt, gilt als benutzerfreundlich und verbessert die Servicequalität, da sie dem Benutzer eine Dienstleistung liefert (benutzerzentriert), anstatt sie nur zu genehmigen (regierungszentriert). Für die Bereitstellung solcher proaktiver und interaktionsloser Dienste werden intelligente Datenverarbeitung mittels Maschinellen Lernens und rechenschaftspflichtiger Datenaustausch mittels Distributed Ledger Technologie (DLT) die technologische Basis bilden.


Wie können Behörden in einer föderierten Umgebung unter Einhaltung des Datenschutzes Wissen teilen, ohne Daten freizugeben?

Die Stichworte sind hier „Föderiertes Maschinelles Lernen (federated machine learning – FML)“ und „Rechenschaftspflicht (accountability)“. FML ist ein Ansatz, der es mehreren Parteien ermöglicht, kooperativ ein gemeinsames maschinelles Lernmodell aus ihren Daten zu erstellen, ohne diese Daten teilen zu müssen. Die Idee ist, dass alle Parteien maschinelle Lernaufgaben auf ihren privaten Datensätzen ausführen und die resultierenden Modellaktualisierungen austauschen, um ein kombiniertes Modell der gesamten Daten zu erstellen. Auf diese Weise bleiben die Daten privat und die Parteien tauschen nur Modell-Updates und Testdaten zur Beurteilung der Qualität der gelernten Modelle aus. IBM Research hat ein Framework für föderiertes Lernen entwickelt, welches wir in unserem gemeinsamen Projekt „AFML – accountable federated machine learning“ nun mit dem von fortiss entwickelten System Evidentia verbinden. In Evidentia können verteilte Arbeitsabläufe wie das föderierte Lernen spezifiziert und die Durchführung von Arbeitsschritten fälschungssicher dokumentiert werden. So ist jederzeit klar nachvollziehbar und belegbar, welcher Akteur was genau zu welcher Zeit gemacht hat, welche Entscheidungen getroffen wurden und warum und ob die tatsächlichen Handlungen der Teilnehmer dem vereinbarten Lernprozess entsprechen. Dies erlaubt es einem Konsortium von Akteuren, Ansprüche auf überprüfbare Weise zu erfassen, auch wenn kein gegenseitiges Vertrauen besteht.


Welche Branchen profitieren besonders davon?

Am Center for AI forschen wir zunächst einmal branchenunabhängig bzw. -übergreifend. Für KI gibt es unzählige Anwendungsfelder. Überall dort, wo Daten anfallen, kann KI und vor allem Maschinelles Lernen potenziell gewinnbringend eingesetzt werden. Gerade auch im Bereich der Fertigungsindustrie mit ihrem hohen Anteil an wiederkehrenden und vorhersehbaren Tätigkeiten besteht besonderes Potenzial. Natürlich arbeiten wir auch an konkreten Anwendungsfällen für bestimmte Felder, wie zum Beispiel dem Einsatz von Techniken des Maschinellen Lernens zur Erkennung von Anomalien der roboterbasierten Fertigung.


Wie können Unternehmen Zugang zu diesen Technologien bekommen?

Im Center for AI als gemeinsamer Forschungsunternehmung zwischen IBM und fortiss erforschen und entwickeln wir KI-Lösungen für gezielte Herausforderungen. Wenn Unternehmen mit uns kooperieren wollen, ist unser Bereich fortiss Mittelstand die zentrale Anlaufstelle. Hier bündeln wir unserer Services für Unternehmen und informieren sie gerne zu den Kooperationsformen.

 

  Marketing & Presse

Ihr Kontakt

Marketing & Presse

presse@fortiss.org