Automated Software Testing

Software wird zunehmend durch künstliche Intelligenz gestützt und in komplexen, dynamischen Umgebungen eingesetzt – von autonomen Fahrzeugen und Robotern bis hin zu agentenbasierten KI-Systemen. Dies stellt eine grundlegende Herausforderung für das Testen dar: Fehler können von seltenen Kombinationen aus Eingaben, Umgebungsbedingungen, Interaktionen oder erlernten Verhaltensweisen abhängen, die im Voraus nicht erschöpfend spezifiziert werden können.

Der Kompetenzbereich „Automated Software Testing“ (AST) bei fortiss entwickelt Methoden und Werkzeuge, um solche Systeme systematisch zu testen, zu validieren und zu verbessern. Wir kombinieren automatisierte Testgenerierung, Simulation, generative KI, Laufzeitüberwachung und physikalische Experimente, um Fehler zu identifizieren, die herkömmliche Testansätze möglicherweise übersehen.

Unser Ziel ist es, der Industrie einen messbaren Mehrwert zu bieten: 

• Fehler früher zu erkennen,
• den Validierungsaufwand und die Kosten zu reduzieren,
• die Systemrobustheit zu verbessern und Belege dafür zu liefern, ob komplexe KI-gestützte Systeme in der Praxis vertrauenswürdig sind. 

Aktuelle Herausforderungen

Bei der herkömmlichen Softwaretestung wird davon ausgegangen, dass das erwartete Systemverhalten spezifiziert und systematisch überprüft werden kann. Bei modernen KI-gestützten Systemen trifft diese Annahme jedoch nicht mehr zu. 

Ihr Verhalten hängt nicht nur vom Quellcode ab, sondern auch von Trainingsdaten, gelernten Modellen, Umgebungsbedingungen, Benutzerinteraktionen und anderen Systemen. Die Anzahl der möglichen Betriebsbedingungen ist enorm, während kritische Fehler oft selten und schwer nachzustellen sind.

Bei autonomen und cyber-physischen Systemen ermöglicht die Simulation Tests in einem Umfang, der in der realen Welt unerschwinglich teuer oder gefährlich wäre. Allerdings bringt die Simulation ein weiteres Problem mit sich: Woher wissen wir, dass ein System, das in der Simulation funktioniert, auch in der Realität funktioniert? Das Verständnis und die Verringerung dieser Realitätslücke sind entscheidend für eine vertrauenswürdige virtuelle Validierung.

Generative KI schafft zusätzliche Möglichkeiten, aber auch neue Herausforderungen. Generative Modelle können realistische Umgebungen, Testeingaben und Szenarien in beispiellosem Umfang erzeugen, doch diese Ergebnisse müssen kontrollierbar, reproduzierbar und für das zu testende System relevant sein. 

Ähnliche Herausforderungen ergeben sich bei LLM-basierten und agentenbasierten Anwendungen. Ihr Verhalten kann von mehrstufigen Interaktionen, abgerufenen Informationen, externen Tools und dem Ausführungskontext abhängen, was es schwierig macht, Fehler allein anhand manuell erstellter Testfälle vorherzusehen.

AST entwickelt automatisierte Verfahren, die aktiv nach Schwachstellen suchen, anstatt sich ausschließlich auf vordefinierte manuelle Testfälle zu verlassen.

• Automatisierte und suchbasierte Testgenerierung: Wir untersuchen automatisch große Eingabe- und Konfigurationsräume, um anspruchsvolle Bedingungen und fehlerauslösende Testfälle zu identifizieren. Suchbasierte und optimierungsorientierte Verfahren lenken die Rechenressourcen auf jene Teile des Eingaberaums, die mit größter Wahrscheinlichkeit relevante Systemschwächen aufdecken.
   
• Generative KI für Testzwecke: Wir untersuchen, wie generative KI realistische und vielfältige Testeingaben, Umgebungen und Szenarien erzeugen kann. Der Schwerpunkt unserer Forschung liegt insbesondere darauf, generierte Tests so zu gestalten, dass sie kontrollierbar und für eine systematische Validierung nutzbar sind, anstatt lediglich visuell oder sprachlich plausibel zu sein. Für autonome Systeme umfasst dies die Generierung und Rekonstruktion realistischer Verkehrsszenarien und digitaler Zwillinge bei gleichzeitiger systematischer Steuerung von Umgebungsbedingungen, Interaktionen und kritischen Ereignissen.
   
• Simulationsbasierte Validierung und digitale Zwillinge: Simulationen ermöglichen es, Tausende von Szenarien sicher und reproduzierbar durchzuspielen, bevor kostspielige physikalische Tests durchgeführt werden. Wir entwickeln Methoden zur Generierung, Priorisierung und Bewertung dieser Szenarien sowie zur Umsetzung realer Beobachtungen in wiederverwendbare virtuelle Testumgebungen. Ein besonderer Schwerpunkt unserer Forschung ist die Realitätslücke: Wir ermitteln, wo sich Simulationen von der Realität unterscheiden, untersuchen, ob diese Unterschiede das Systemverhalten beeinflussen, und stellen fest, welche virtuellen Fehler sich unter realistischen Bedingungen reproduzieren lassen.
   
• Testen von KI, LLM und agentenbasierten Systemen: Wir entwickeln Methoden zur systematischen Prüfung von Software, die auf maschinellem Lernen und Grundmodellen basiert. Dazu gehören die automatische Generierung anspruchsvoller Eingaben und Interaktionen, die Untersuchung von mehrrundigen Gesprächen, die Identifizierung unerwarteter Verhaltensweisen sowie die Bewertung der Robustheit unter verschiedenen Betriebsbedingungen. Da KI-Systeme zunehmend mit Tools, Software und physischen Umgebungen interagieren, erweitert unsere Forschung den Testumfang von einzelnen Modellen hin zum Verhalten kompletter KI-gestützter Systeme.
   
• Laufzeitüberwachung: Nicht jede relevante Situation lässt sich vor der Inbetriebnahme vorhersehen. Deshalb entwickeln wir Überwachungstechniken, die Unsicherheiten, unerwartetes Verhalten und potenziell unsichere Betriebszustände während des laufenden Systembetriebs erkennen. Nicht jede relevante Situation lässt sich vor der Inbetriebnahme vorhersehen. Deshalb entwickeln wir Überwachungstechniken, die Unsicherheiten, unerwartetes Verhalten und potenziell unsichere Betriebszustände während des laufenden Systembetriebs erkennen.
  Testen und Überwachen ergänzen sich gegenseitig: Beim Testen wird untersucht, was vor der Inbetriebnahme schiefgehen kann, während die Überwachung zusätzliche Erkenntnisse liefert, wenn Systeme auf bisher unbekannte Situationen stoßen.
   
• Von der Simulation bis zur physikalischen Validierung: Virtuelle Tests allein reichen nicht immer aus. Deshalb verbinden wir Simulation mit Mixed Reality und physikalischen Experimenten, um festzustellen, ob sich die virtuell beobachteten Fehler und Verhaltensweisen
  auf die Realität übertragen lassen. Das fortiss Mobility Lab und FORTUNA bieten experimentelle Umgebungen, in denen Test- und Validierungstechnologien über rein virtuelle Experimente hinaus demonstriert und bewertet werden können.

KI-gestützte Optimierung

Wir haben ein KI-gestütztes Optimierungs- und Entscheidungs-Dashboard entwickelt, um die Analyse und Optimierung komplexer technischer Entscheidungen zu unterstützen. Die daraus resultierende Optimierung trug zu geschätzten Kosteneinsparungen in Höhe von mehreren Millionen bei.

Digital-Twin-Technologie

Wir haben bei der Entwicklung der technischen Grundlagen für einen auf Digital Twins basierenden Ansatz mitgewirkt. Diese Arbeit trug dazu bei, Fördermittel in Höhe von rund 600.000 € für die Weiterentwicklung und Validierung der Technologie zu sichern.

Testen von dialogorientierter KI

Wir haben an Methoden zum systematischen Testen von Dialog-KI-Anwendungen gearbeitet, mit dem Ziel, Interaktionen automatisch zu untersuchen und problematische Verhaltensweisen sowie Fehlerfälle zu identifizieren, die allein durch manuelle Tests nur schwer aufzudecken wären.
Diese Beispiele spiegeln unseren Ansatz beim Technologietransfer wider: Wir gehen von einem konkreten industriellen Problem aus und liefern messbare Ergebnisse, experimentelle Belege, Prototypen oder Technologien, die in die Praxis übertragen werden können.

Vorteile für Unternehmen

Automatisierte Tests können Unternehmen dabei helfen, praktische Fragen zu immer komplexer werdender Software und KI-Systemen zu beantworten:

Wo versagt mein System?
Wir suchen systematisch nach Bedingungen, die zu Fehlern führen, anstatt darauf zu warten, dass Fehler erst während der Bereitstellung auftreten.

Wie robust ist mein KI-System?
Wir bewerten das Verhalten anhand vielfältiger Eingaben, Umgebungen, Interaktionen und Betriebsbedingungen und identifizieren Schwachstellen sowie betriebliche Grenzen.

Kann ich die Test- und Validierungskosten senken?
Durch automatisierte Generierung, Priorisierung und Simulation lassen sich die Testressourcen auf die aussagekräftigsten und kritischsten Fälle konzentrieren.

Kann ich meinen Simulationsergebnissen vertrauen?
Wir vergleichen virtuelle und realistische Ausführungsbedingungen und untersuchen, ob sich die in der Simulation beobachteten Verhaltensweisen und Fehler auf die Realität übertragen lassen.

Wie sollte ich ein LLM oder eine agentenbasierte Anwendung testen?
Wir entwickeln systematische Ansätze zur Untersuchung von Konversationen, Eingaben, Systemkonfigurationen und Interaktionen mit externen Komponenten.

Lassen sich Forschungsmethoden in meinen Entwicklungsprozess integrieren?
Unsere Arbeit reicht von explorativen Bewertungen über Demonstratoren, Prototypen und automatisierte Test-Pipelines bis hin zu gemeinsamen F&E-Projekten.

Verfügen Sie über eine Software oder ein KI-gestütztes System und möchten wissen, wo es Schwachstellen aufweist, wie robust es ist oder ob Ihre derzeitigen Tests ausreichend sind?

Testen Sie es mit fortiss.

Unternehmen und KMU können uns ein bestehendes System, einen Prototyp, ein KI-Modell, eine Simulationsumgebung oder ein konkretes Validierungsproblem vorlegen. Gemeinsam definieren wir ein zielgerichtetes Projekt, das auf ein konkretes Ergebnis ausgerichtet ist.

Je nach Herausforderung kann dies Folgendes umfassen:

1. Bewertung der Systemrobustheit – Identifizierung und Analyse von Fehlerfällen, Schwachstellen und Betriebsgrenzen.
    
2. Automatisierte Testkampagne – Erstellung und Ausführung von Testfällen, die auf kritische und bisher unerforschte Verhaltensweisen abzielen.
    
3. Bewertung von KI- und LLM-Tests – systematische Evaluierung von KI-, LLM-, dialogbasierten und agentenbasierten Anwendungen.
    
4. Bewertung der Diskrepanz zwischen Simulation und Realität – Nachweis darüber, ob Simulationsergebnisse auf realistische oder physikalische Bedingungen übertragbar sind, sowie Identifizierung relevanter Abweichungen.
    
5. Teststrategie – eine maßgeschneiderte Validierungsmethodik und Empfehlungen zur Verbesserung eines bestehenden Testprozesses.
    
6. Testprototyp oder -pipeline – Implementierung automatisierter Testtechnologie, die demonstriert, wie der Ansatz in einen Entwicklungsworkflow integriert werden kann.
    
7. Digital-Twin und Simulationsprototyp – Entwicklung oder Bewertung virtueller Umgebungen für die systematische Validierung.

Das Ergebnis ist daher nicht lediglich ein Forschungskonzept. Je nach Umfang des Auftrags erhalten Unternehmen identifizierte Fehlerfälle, quantitative Belege, eine Bewertung der Systemrobustheit, eine Teststrategie, einen Demonstrator oder eine lauffähige Test- und Validierungspipeline.