Training mit KI für den OP von morgen
Vom Engpass zur Innovation
Die robotergestützte Chirurgie hat sich in den vergangenen Jahren von einer visionären Technologie zu einem klinischen Werkzeug mit wachsender Relevanz entwickelt und gilt mittlerweile als medizinische Schlüsseltechnologie. Sie ermöglicht minimalinvasive Eingriffe mit bislang unerreichter Präzision, Reproduzierbarkeit und Patientensicherheit – insbesondere in sensiblen Bereichen der Mikrochirurgie wie der Augenchirurgie. Doch genau hier liegt ein strukturelles Problem: Die Komplexität dieser Systeme wächst schneller als die Fähigkeit, medizinisches Personal effizient und sicher darauf auszubilden. Dies ist insbesondere vor dem Hintergrund des zunehmenden Fachkräftemangels von hoher Relevanz.
Klassische Trainingsmethoden stoßen hierbei an ihre Grenzen. Reale OP-Zeit ist knapp, Robotersysteme sind teuer und Trainingsmöglichkeiten sind begrenzt und lassen sich kaum skalieren. Gleichzeitig steigt der Bedarf: Erkrankungen wie z.B. die altersabhängige Makuladegeneration (AMD) nehmen zu und erfordern hochspezialisierte Eingriffe mit viel Erfahrung – Fähigkeiten, die sich nicht allein durch theoretisches Wissen vermitteln lassen. Die Ausbildung braucht innovative Methoden und neue Ansätze für das Lehren und Üben.
Das Forschungsprojekt GRATA (Graph (RAG)-basiertes Trainings- und Ausbildungssystem) setzt mit generativer KI und einem GraphRAG-Ansatz genau hier an. RAG (Retrieval-Augmented Generation) ist ein Ansatz, bei dem generative KI Antworten nicht nur aus erlerntem Wissen erzeugt, sondern auf strukturierte, vernetzte Wissensquellen zugreift, um kontextabhängige und fachlich fundierte Ergebnisse zu liefern. Ziel ist die Entwicklung eines durchgängig digitalen, modularen, KI-gestützten Ausbildungs- und Trainingssystems, das den gesamten chirurgischen Workflow am Beispiel der robotergestützten medizinischen Chirurgie wie der Augenchirurgie abbildet und dabei sowohl technische als auch organisatorische Aspekte berücksichtigt. Es soll Ärztinnen und Ärzte, sowie deren Assistenten in allen Phasen komplexer Eingriffe unterstützen – von der Vorbereitung bis zur Durchführung.
Vom statischen zum adaptiven Lernen
Im Zentrum von GRATA steht ein Paradigmenwechsel: Weg von einer Abfolge standardisierter Lehrinhalte, hin zu einem dynamischen, datengetriebenen Prozess. Das System integriert verschiedene technologische Komponenten zu einer durchgängigen Lernumgebung, die sich an den individuellen Fortschritt der Anwender anpasst.
Ein wesentliches Element ist die Nutzung generativer KI in Form spezialisierter medizinischer Sprachmodelle. Durch das Trainieren von Sprachmodellen auf medizinische Fachbegriffe und medizinisches Wissen, sind diese in der Lage, auf Fragen des Nutzers zu antworten, Instruktionen zu geben, Abläufe zu erklären und kontextabhängige Dialoge zu führen. Entscheidend ist dabei, dass die KI nicht isoliert arbeitet, sondern mit strukturierten Wissensmodellen verknüpft ist. Dadurch entsteht eine belastbare Grundlage für nachvollziehbare und fachlich korrekte Interaktionen.
Parallel dazu verfügt das System über eine fortschrittliche Bildverarbeitung und verarbeitet kontinuierlich Sensor- und Roboterdaten aus der Trainingsumgebung in Echtzeit. Das System erfasst, analysiert und gleicht Bewegungen, Instrumentenpositionen sowie Prozessschritte mit hinterlegten Sollabläufen ab.
Auf dieser Basis generiert das System in Echtzeit Rückmeldungen, erkennt Abweichungen vom vorgesehenen Ablauf und unterstützt das medizinische Personal in der Ausbildung dabei, ihre Handlungen zu präzisieren, etwa bei der Reihenfolge von Schritten, dem Einsatz von Instrumenten oder der Einhaltung klinischer Leitlinien.
Semantik: Daten erhalten Bedeutung
Eine Schlüsselrolle im Projekt spielt die strukturierte Abbildung komplexer chirurgischer Prozesse. Dafür entwickelt das Landesforschungsinstitut des Freistaats Bayern für softwareintensive Systeme, fortiss, eine intelligente Datenbasis auf Grundlage umfassender semantischer Wissensmodelle. Diese sind entscheidend, damit KI-Systeme nicht nur Daten verarbeiten, sondern Zusammenhänge verstehen und situationsabhängig reagieren können. Ausgangspunkt sind Ontologien, also strukturierte Wissensmodelle, die ein einheitliches Vokabular für OP-Prozesse, beteiligte Rollen und Instrumente schaffen. Sie ermöglichen es, unterschiedliche Datenquellen in einen konsistenten Zusammenhang zu bringen und für KI-Systeme nutzbar zu machen.
Darauf aufbauend entstehen Prozessmodelle, die chirurgische Eingriffe Schritt für Schritt abbilden. Dabei wird nicht nur erfasst, was passiert, sondern auch in welchem Kontext: Wer führt welche Handlung aus, mit welchem Instrument und unter welchen Bedingungen?
Ergänzt werden diese Modelle durch sogenannte Szenegraphen, die die gesamte Operationsumgebung als vernetztes System darstellen. Sie verknüpfen statische Informationen, wie etwa Geräte oder Instrumente, mit dynamischen Zuständen und Interaktionen und schaffen so ein umfassendes Bild der Situation. Diese Kontextinformationen bilden die Grundlage dafür, dass KI-Systeme Trainingssituationen verstehen, begleiten und gezielt unterstützen können.
Der GraphRAG-Ansatz von fortiss verbindet dieses strukturierte Wissen mit generativer KI (siehe Abbildung links). Im Unterschied zu klassischen Ansätzen, die primär auf unstrukturierten Texten basieren, greift er gezielt auf das semantisch modellierte und vernetzte Fachwissen zurück. So können medizinische Zusammenhänge nicht nur beschrieben, sondern kontextgerecht, nachvollziehbar und zuverlässig interpretiert werden.
Der Weg zur intelligenten Assistenz
Ein weiterer Fortschritt von GRATA liegt in der intelligenten Verknüpfung der Sensordaten mit den wissensbasierten Modellen. Durch die kontinuierliche Erfassung von Bewegungs-, Instrumenten- und Roboterdaten wird der operative Ablauf nicht mehr nur dokumentiert, sondern in seinem Kontext verstanden.
Das System erkennt dadurch einzelne Handlungsschritte des medizinischen Personals automatisch und ordnet sie in den Gesamtverlauf des Eingriffs ein. Für die Ausbildung bedeutet dies einen entscheidenden Mehrwert: Trainingsfortschritte werden nicht nur sichtbar gemacht, sondern erläutert, aktiv begleitet und nachvollziehbar gemacht.
“Durch die von fortiss entwickelten Wissensmodelle wird das System “verstehen” in welcher Phase sich ein Eingriff befindet, welche Schritte bereits korrekt durchgeführt wurden und an welcher Stelle potenzielle Abweichungen auftreten. Diese Schritte sollen in Echtzeit identifiziert und durch gezielte, situationsabhängige Hinweise adressiert werden. So entsteht eine Art digitaler Mentor, der den Eingriff nicht nur beobachtet, sondern fachlich fundiert begleitet und verbessert”, erklärt Dominik Mittel, Wissenschaftler bei fortiss.
Für die Praxis bedeutet das konkret: Das System kann nicht nur allgemeine Informationen liefern, sondern situationsspezifische Antworten geben, die sich am aktuellen Operationsschritt orientieren. Fragt ein Anwender, wie der auszubildende Chirurg oder Anästhesist, beispielsweise nach dem nächsten Schritt, Werkzeug oder wie er den Schnitt präziser setzen kann, berücksichtigt das System sowohl den bisherigen Ablauf als auch klinische Leitlinien und generiert daraus eine präzise, nachvollziehbare Empfehlung. Darüber hinaus kann das System seine Vorschläge begründen und auf potenzielle Risiken hinweisen. So entsteht ein Assistenzsystem, das nicht nur reagiert, sondern den Anwender aktiv im Dialog unterstützt.
Von der Simulation zur Realität
Neben der semantischen Modellierung und der KI-gestützten Interaktion spielt die Simulation eine zentrale Rolle. Ziel ist es, Trainingsumgebungen zu schaffen, die reale Situationen der Chirurgie möglichst präzise abbilden, ohne dabei Risiken für Patienten einzugehen.
Die Integration von Robotik in Simulationssysteme überträgt reale Bewegungsabläufe und Systemreaktionen in virtuelle Szenarien. Dies ermöglicht nicht nur ein realistisches Training, sondern auch die Validierung neuer Verfahren und die Optimierung chirurgischer Eingriffe unter kontrollierten Bedingungen.
Die Verbindung von Simulation und realen Daten schafft eine Entwicklungsumgebung, in der neue Ansätze iterativ getestet und verbessert werden können. Gleichzeitig wird die Verfügbarkeit von Trainingsmöglichkeiten deutlich erhöht, da diese unabhängig von realen OP-Kapazitäten genutzt werden können und die Inhalte zudem individuell an unterschiedliche Erfahrungsstufen angepasst werden können.
Neuer Standard für intelligentes Training
Die erste gemeinsame Demonstration der integrierten Systemkomponenten am Klinikum rechts der Isar der TU München führte die Beiträge der Projektpartner zusammen und bestätigte ihre Funktionalität in einer realen Umgebung. „Diese Demonstration zeigt, dass die komplexe Verknüpfung von KI, semantischen Modellen und Simulation nicht nur konzeptionell, sondern auch praktisch umsetzbar ist und in ein gemeinsames System zusammengeführt werden kann,” betont fortiss Wissenschaftler Alexander Perzylo.
Die neue Technologie soll nicht nur die Qualität der Ausbildung verbessern, sondern auch die Sicherheit der Eingriffe. GRATA will einen neuen Standard für die Ausbildung in der robotergestützten Chirurgie etablieren und zeigt dabei exemplarisch, wie sich moderne Medizintechnik entwickelt: interdisziplinär, datengetrieben, robotergestützt und KI-basiert. Langfristig soll die Plattform daher auch auf andere medizinische Disziplinen übertragen werden.
„Langfristig wollen wir damit einen europäischen Standard etablieren: eine validierte Plattform, die flexibel einsetzbar ist, die Patientensicherheit erhöht und dem Fachkräftemangel entgegenwirkt.,“, so Dr. Ali Nasseri Professor für Medizinische Autonomie und Präzisionsrobotik an der TU München.
Die Kombination aus strukturierter Wissensrepräsentation, generativer KI, sensorbasierter Prozessanalyse und Simulation verändert die chirurgische Ausbildung grundlegend. Damit wird die Lücke zwischen technologischer Innovation und klinischer Anwendung geschlossen – und der Weg für eine neue Generation intelligenter Trainingssysteme im OP bereitet. Damit wirkt das System nicht nur auf die Ausbildung, sondern auch auf die Weiterentwicklung klinischer Prozesse selbst.
