Mit dem Projekt SpikingBody baut fortiss seine führende Expertise in biologisch inspirierten KI-Technologien im Bereich Neuromorphic Computing weiter aus. Unter der Leitung von Michael Neumeier untersuchte das Wissenschaftlerteam den Einsatz neuromorpher Algorithmen auf Basis von spikenden neuronalen Netzen (SNNs) und Intels neuromorphem Forschungs-Chip Loihi für die Echtzeit-Aktionserkennung. Die von der Bayerischen Forschungsstiftung geförderte Forschungsarbeit eröffnet vielversprechende Perspektiven für den Einsatz in Mensch-Maschine-Schnittstellen, insbesondere in den Bereichen Robotik, Industrieautomation und interaktive Assistenzsysteme.
Neuromorphe Intelligenz für intuitive Mensch-Maschine-Interaktion
Das Verständnis menschlicher Aktionen ist grundlegend für die Sicherheit, Akzeptanz und Interaktivität von Robotern und Maschinen. Für eine effektive Erkennung durch Mensch-Maschine-Schnittstellen sind jedoch eine hohe Erkennungsgenauigkeit, schnelle Reaktionszeiten und geringer Energieverbrauch erforderlich. Herkömmliche Systeme stoßen dabei oft an ihre Grenzen. Neuromorphe Technologien, die sich an der Architektur und Funktionsweise des menschlichen Gehirns orientieren, ermöglichen es, Aktionserkennungssysteme nach diesen Kriterien zu optimieren.
SpikingBody setzt auf einen neuartigen Ansatz: die Verbindung ereignisbasierter Vision-Sensoren mit SNNs, die auf neuromorpher Hardware implementiert sind. Die ereignisbasierte Bildsensoren reagieren nur auf Änderungen in der Umgebung, anstatt komplette Bilder mit hoher Datenrate zu erfassen. Dadurch reduzieren sie den Rechenaufwand und liefern eine hohe zeitliche Auflösung mit minimaler Latenz. Die erfassten Sensordaten werden direkt als Spikes in einem SNN verarbeitet, das auf Intels Forschungsplattform Loihi energieeffizient ausgeführt wird. Das Netzwerk erkennt und interpretiert Aktionen in Echtzeit – mit der Möglichkeit, neue Aktionen „on the fly“ zu lernen, ohne das gesamte System neu trainieren zu müssen.
Neuromorphe KI optimiert die Bewegungsanalyse im Tennissport
Diese Technologie wurde speziell für die Tennis-Aktionserkennung angewendet und bietet neue Möglichkeiten, die Bewegungen von Spielern in Echtzeit zu analysieren und darauf zu reagieren. Durch den neuromorphen Ansatz kann die Erkennungslatenz so weit reduziert werden, dass der Bewegungstyp in Echtzeit erkannt wird. Die ereignisgesteuerte Kamera, die einen sehr kompakten Bildstrom mit nahezu keiner Latenz erzeugt, ermöglicht es, sehr schnelle Bewegungen ohne Bewegungsunschärfe zu erfassen und somit zuverlässige Geschwindigkeitsschätzungen zu liefern.
Das System, das fortiss entwickelt hat, nutzt lediglich eine Event-Kamera, um die Art der Bewegung eines Tennisspielers (wie Aufschlag, Vorhand oder Rückhand) in Echtzeit zu erkennen. Auf Basis dieser Erkennung können erste Rückschlüsse gezogen oder teurere, präzisere Systeme aktiviert werden, die eine detailliertere Analyse ermöglichen – beispielsweise für die Übertragung von Spielen im Fernsehen. Gleichzeitig bietet es Sportvereinen eine kostengünstigere und benutzerfreundlichere Alternative zu professionellen Analyse- und Trainingssystemen.
