Projektabschluss

Neuromorphe KI ermöglicht präzise und energieeffiziente Aktionserkennung in Echtzeit

Im Sport, insbesondere im Tennis, wird die präzise Analyse von Bewegungen immer relevanter. Mit dem Abschluss des Forschungsprojekts SpikingBody hat fortiss eine neuartige Lösung entwickelt, die neuromorphe KI nutzt, um Spieleraktionen in Echtzeit und besonders energieeffizient zu erkennen. Das System kombiniert ereignisbasierte Bildsensoren mit spezialisierter, neuromorpher Hardware, um eine präzise, latenzarme und energieeffiziente Erfassung menschlicher Bewegungen zu ermöglichen.

Mit dem Projekt SpikingBody baut fortiss seine führende Expertise in biologisch inspirierten KI-Technologien im Bereich Neuromorphic Computing weiter aus. Unter der Leitung von Michael Neumeier untersuchte das Wissenschaftlerteam den Einsatz neuromorpher Algorithmen auf Basis von spikenden neuronalen Netzen (SNNs) und Intels neuromorphem Forschungs-Chip Loihi für die Echtzeit-Aktionserkennung. Die von der Bayerischen Forschungsstiftung geförderte Forschungsarbeit eröffnet vielversprechende Perspektiven für den Einsatz in Mensch-Maschine-Schnittstellen, insbesondere in den Bereichen Robotik, Industrieautomation und interaktive Assistenzsysteme. 

Neuromorphe Intelligenz für intuitive Mensch-Maschine-Interaktion

Das Verständnis menschlicher Aktionen ist grundlegend für die Sicherheit, Akzeptanz und Interaktivität von Robotern und Maschinen. Für eine effektive Erkennung durch Mensch-Maschine-Schnittstellen sind jedoch eine hohe Erkennungsgenauigkeit, schnelle Reaktionszeiten und geringer Energieverbrauch erforderlich. Herkömmliche Systeme stoßen dabei oft an ihre Grenzen. Neuromorphe Technologien, die sich an der Architektur und Funktionsweise des menschlichen Gehirns orientieren, ermöglichen es, Aktionserkennungssysteme nach diesen Kriterien zu optimieren.

SpikingBody setzt auf einen neuartigen Ansatz: die Verbindung ereignisbasierter Vision-Sensoren mit SNNs, die auf neuromorpher Hardware implementiert sind. Die ereignisbasierte Bildsensoren reagieren nur auf Änderungen in der Umgebung, anstatt komplette Bilder mit hoher Datenrate zu erfassen. Dadurch reduzieren sie den Rechenaufwand und liefern eine hohe zeitliche Auflösung mit minimaler Latenz. Die erfassten Sensordaten werden direkt als Spikes in einem SNN verarbeitet, das auf Intels Forschungsplattform Loihi energieeffizient ausgeführt wird. Das Netzwerk erkennt und interpretiert Aktionen in Echtzeit – mit der Möglichkeit, neue Aktionen „on the fly“ zu lernen, ohne das gesamte System neu trainieren zu müssen.

Neuromorphe KI optimiert die Bewegungsanalyse im Tennissport

Diese Technologie wurde speziell für die Tennis-Aktionserkennung angewendet und bietet neue Möglichkeiten, die Bewegungen von Spielern in Echtzeit zu analysieren und darauf zu reagieren. Durch den neuromorphen Ansatz kann die Erkennungslatenz so weit reduziert werden, dass der Bewegungstyp in Echtzeit erkannt wird. Die ereignisgesteuerte Kamera, die einen sehr kompakten Bildstrom mit nahezu keiner Latenz erzeugt, ermöglicht es, sehr schnelle Bewegungen ohne Bewegungsunschärfe zu erfassen und somit zuverlässige Geschwindigkeitsschätzungen zu liefern.

Das System, das fortiss entwickelt hat, nutzt lediglich eine Event-Kamera, um die Art der Bewegung eines Tennisspielers (wie Aufschlag, Vorhand oder Rückhand) in Echtzeit zu erkennen. Auf Basis dieser Erkennung können erste Rückschlüsse gezogen oder teurere, präzisere Systeme aktiviert werden, die eine detailliertere Analyse ermöglichen – beispielsweise für die Übertragung von Spielen im Fernsehen. Gleichzeitig bietet es Sportvereinen eine kostengünstigere und benutzerfreundlichere Alternative zu professionellen Analyse- und Trainingssystemen. 

Neuromorphes Computing
Ausgang der Event-Kamera beim Vorhandschlag (Tennis).
Neuromorpes Computing
Pose estimation beim Vorhandschlag (Tennis).

Zweistufiges Lernen als Schlüssel zur Effizienz

Ein zentrales Ergebnis des Projektes SpikingBody ist die Entwicklung eines zweistufigen Lernansatzes, der aus Offline-Pretraining und Online-Lernen in Echtzeit besteht. Dadurch kann das System auch neue Aktionen während des Betriebs erkennen und sich kontinuierlich anpassen – ein entscheidender Vorteil für Mensch-Maschine-Interaktion, Robotik und industrielle Automatisierung. Im Falle der Tennis-Anwendung bedeutet dies, dass das System sich neuen Sportlern anpassen, oder gar neue Aktionen erlernen kann.

Das Netzwerk zur Ereignisverarbeitung führt zwei Aufgaben gleichzeitig aus: die Klassifizierung der Aktionen und die Schätzung der Körperposition durch Rekonstruktion des Gelenkpositionen des Spielers. Dies ermöglicht nicht nur die Typisierung der Aktion (Aufschlag, Rückhand, etc.), sondern auch die Schätzung der Winkel und Geschwindigkeiten der Schläge. 

Fortschritte in der Entwicklung effizienter, adaptiver KI-Technologien

fortiss setzt mit SpikingBody neue Maßstäbe in der energieeffizienten und adaptiven KI-Forschung. Die entwickelten Methoden und Prototypen eröffnen innovative Anwendungsfelder in industriellen Steuerungssystemen, der Robotik und smarten Bedienkonzepten. Von berührungslosen Maschinensteuerungen über interaktive Assistenzsysteme bis hin zu neuartigen Steuerungslösungen für Robotersysteme – SpikingBody demonstriert das Potenzial leistungsfähiger, lernfähiger und ressourcenschonender KI-Technologien.

Ein ausgezeichnetes Beispiel für die Vielseitigkeit dieser Technologie ist eine Klangkunstinstallation, die von Neuromophic Computing Kompetenzfeldleiter Dr. Axel von Arnim und seinem Team entwickelt wurde. Durch Echtzeitverarbeitung reagiert das System auf die Bewegungen der Besucher und erzeugt interaktive Musikräume, die sich dynamisch verändern. Die Kombination aus technischer Innovation und künstlerischer Visualisierung vermittelt den Eindruck einer engen, kreativen Verbindung zwischen Mensch und Maschine. Diese Installation wurde im Juli 2024 auf dem Festival der Zukunft in München präsentiert.

Aufbauend auf diesen Ergebnissen wird fortiss gemeinsam mit Partnern aus Industrie und Wissenschaft die nächste Generation smarter, adaptiver Mensch-Maschine-Schnittstellen entwickeln. Mit SpikingBody setzt fortiss einmal mehr ein Zeichen für die Zukunft der KI und Robotik – effizient, lernfähig und energieoptimiert.

  Marketing & Presse

Ihr Kontakt

Marketing & Presse

presse@fortiss.org