Fallstudie Spiking Body
Traditionelle Systeme zur Bewegungsanalyse leiden oft unter hoher Latenz, ineffizientem Energieverbrauch und geringer Anpassungsfähigkeit. Im Projekt SpikingBody entwickelte fortiss ein neuromorphes KI-System, das ereignisbasierte Kameras mit Spiking Neural Networks (SNNs) kombiniert, um Bewegungen in Echtzeit und mit geringem Energiebedarf zu erkennen. Das Ergebnis ist ein wegweisender Prototyp zur Bewegungserkennung – zunächst im Tennissport erprobt – der den Grundstein für intelligentere Mensch-Maschine-Interaktionen legt.
Das Projekt SpikingBody wurde von der Bayerischen Forschungsstiftung gefördert und von fortiss geleitet. Ziel war es, neuromorphe KI-Technologien für energieeffiziente, echtzeitfähige Bewegungserkennung weiterzuentwickeln. Der Fokus lag auf Anwendungen in der Robotik, industriellen Automatisierung und interaktiven Systemen.
Herausforderung
Eine präzise Erkennung menschlicher Bewegungen in Echtzeit ist essenziell für sichere und reaktionsfähige Mensch-Maschine-Interaktion. Herkömmliche Systeme stoßen hier aufgrund hoher Latenz, hohem Energiebedarf und begrenzter Anpassungsfähigkeit an ihre Grenzen. Insbesondere klassische bildbasierte Verfahren benötigen große Datenmengen und viel Rechenleistung.
Lösung
fortiss entwickelte ein System, das sich an der hohen Energieeffizienz und Anpassungsfähigkeit biologischer neuronaler Prozesse orientiert. Dazu kombinierte das Team ereignisbasierte Bildsensoren mit Spiking Neural Networks (SNNs), die auf Intels neuromorphem Chip Loihi 2 ausgeführt werden. Dieses Zusammenspiel ermöglicht eine sehr schnelle und zugleich extrem energiearme Datenverarbeitung, da ausschließlich relevante Veränderungen im Bildsignal verarbeitet werden. Das System folgt einem zweistufigen Lernansatz mit Offline-Training und anschließender Online-Anpassung, wodurch neue Bewegungsmuster auch während des Betriebs erkannt werden können. Als Demonstrator wurde die Erkennung von Tennisschlägen umgesetzt, bei der Bewegungen wie Aufschlag, Vorhand und Rückhand in Echtzeit zuverlässig klassifiziert und analysiert wurden.
Ergebnis
- Entwicklung eines neuromorphen Prototyps zur Gestenerkennung in Echtzeit mit ereignisbasierten Kameras und SNNs
- Erkennung von Tennisschlägen wie Aufschlag, Vorhand und Rückhand mit nur einem Sensor und minimaler Latenz
- Hohe Energieeffizienz durch ereignisbasierte Datenverarbeitung und neuromorphe Architektur (Loihi 2)
- Einführung eines zweistufigen Lernverfahrens: Offline-Vortraining + Online-Adaption ohne vollständiges Retraining
- Parallele Schätzung der Körperhaltung zur Anreicherung der Aktionsklassifikation
- Erweiterung des Use-Cases u. a. auf künstlerische Anwendungen (z. B. interaktive Musikinstallationen) und robotische Schnittstellen
- Schaffung einer skalierbaren Grundlage für adaptive Mensch-Maschine-Schnittstellen in Industrie und Smart Environments
Fazit
Das Projekt zeigt, dass neuromorphe KI durch die Kombination ereignisbasierter Sensorik und Spiking Neural Networks eine besonders schnelle und energieeffiziente Bewegungserkennung in Echtzeit ermöglicht. Damit entsteht eine skalierbare Grundlage für adaptive Mensch-Maschine-Interaktionen, die sich flexibel auf neue Bewegungsmuster und Anwendungsfelder in Industrie, Robotik und interaktiven Systemen übertragen lässt.
Projektpartner
