Zertifizierung sicherer Mensch-Maschine-Interaktion für KI-Luftfahrtassistenzsysteme
KIEZ4-0
Projektbeschreibung
Das zivile Luftverkehrssystem stößt seit Jahren an seine Kapazitätsgrenze, mit vermehrten Verspätungen und Flugstreichungen als Folge. Die Überwindung der Kapazitätsengpässe erfordert vielschichtige Anstrengungen. Auf der technologischen Seite könnte für eine mögliche Lösung die Künstliche Intelligenz (KI) eine Schlüsselrolle spielen, etwa durch Ermöglichen einer effektiveren Luftraumüberwachung oder des Einzelpilotbetriebs, wo heute mindestens zwei Piloten an Bord vorgeschrieben sind. Die Intransparenz und die Komplexität vieler KI-Systeme stellen jedoch eine große Herausforderung für den sicheren Einsatz dieser Technologien in der Luftfahrt dar. Im Rahmen des Verbundvorhabens KIEZ4-0 (Künstliche Intelligenz Europäisch Zertifizieren unter Industrie 4.0) forscht fortiss daher gemeinsam mit den Projektpartnern an Konzepten, wie die Sicherheit von KI-gestützten Anwendungen in der Luftfahrt wie etwa dem Einzelpilotbetrieb zertifiziert werden kann. Außerdem wird am Beispiel einer Flight-Mission-Management-Anwendung untersucht, welchen Beitrag formale Methoden zur Zertifizierung solcher Systeme leisten können.
Forschungsbeitrag
- Konzepte und Richtlinien zur Gestaltung von Mensch-Maschine-Interaktion für Zertifizierung von KI-Anwendungen
- Human-Factors-Validierungsmethoden für ein nahtloses Zusammenspiel und das Vertrauensverhältnis zwischen Mensch und Maschine
- Formale Verifikationsmethoden als Baustein für den Sicherheitsnachweis (Safety Assurance) von KI-basierten Systemen
- Die entwickelten Methoden und Richtlinien können die Zertifizierung von KI prägen und als Grundlage für nationale und internationale Regulierung dienen.
- Die Ergebnisse werden in nationalen und internationalen Gremien eingebracht, um die Harmonisierung und Standardisierung voranzutreiben.
- Adaption der Ergebnisse auf andere Domänen: die entwickelten Methoden auf Bereiche wie Robotik, Produktion oder Autonomes Fahren zu übertragen und dort zu etablieren
Projektdauer
01.07.2020 – 31.12.2023
Kontakt
Projektpartner
Publikationen
- Beyond Recommendations: From Backward to Forward AI Support of Pilots' Decision-Making Process Proceedings of the ACM on Human-Computer Interaction, 8(CSCW2):485:1-485:32, 2024. Details DOI BIB
- On Safety Assurance of Symbolic Artificial Intelligence In International Conference on Software Quality, Reliability, and Security Companion, 2024. Details BIB
- Is Overreliance on AI Provoked by Study Design? In Human-Computer Interaction – INTERACT 2023, pages 49–58, Cham, 2023. Springer Nature Switzerland. Details URL DOI BIB
- Formal Verification for Safe AI-based Flight Planning for UAVs In 2023 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks Workshops (DSN-W), 2023. IEEE. Details URL DOI BIB
- Designing AI for Appropriation Will Calibrate Trust In CHI TRAIT '23: Workshop on Trust and Reliance in AI-Assisted Tasks at CHI 2023, 2023. Details URL BIB
- Resilience Through Appropriation: Pilots' View on Complex Decision Support In 28th International Conference on Intelligent User Interfaces (IUI '23), 2023. ACM. Details DOI BIB
- Building Trust by Supporting Situation Awareness: Exploring Pilots' Design Requirements for Decision Support Tools In CHI TRAIT '22: Workshop on Trust and Reliance in Human-AI Teams at CHI 2022, 2022. Details URL BIB
- Pilot Attitudes Toward AI in the Cockpit: Implications for Design In 2021 IEEE 2nd International Conference on Human-Machine Systems (ICHMS), 2021. IEEE. Details URL DOI BIB
- How to Manage Output Uncertainty: Targeting the Actual End User Problem in Interactions with AI In Joint Proceedings of the ACM IUI 2021 Workshops, 2021. Details URL BIB