Neuromorphic Computing
Im Mittelpunkt unserer Forschungsaktivitäten steht die Verbesserung der Lernfähigkeit und Intelligenz technischer Systeme, sei es in der Fertigungs-, Automobil- oder Robotikbranche. Dabei stützen wir uns auf Erkenntnisse aus dem Bereich der Neurobiologie und wenden Software-Methoden aus dem Bereich der Künstlichen Intelligenz (KI) und dem Teilbereich des Deep Learning an. Außerdem entwickeln wir Algorithmen und Software für extrem energiesparende neuromorphe Hardware und deren Anwendung im Maschinellen Lernen.
Forschungsschwerpunkte
- Neuromorphe Robotik
Die energieeffiziente Steuerung mobiler oder industrieller Roboter mit geringer Latenzzeit ist für die autonomen Roboter von morgen von entscheidender Bedeutung. Da Roboter und Objekte immer intelligenter werden, muss immer mehr Künstliche Intelligenz (KI) auf dem Gerät verarbeitet werden, was wiederum die Batterielebensdauer verkürzen muss. Die neuromorph gesteuerte Robotik ist ein wichtiges Thema mit Problemen wie SLAM, Bewegungskontrolle, Online-Lernen, ... In dieser Forschungslinie konzentrieren wir uns auf die Bewegungskontrolle, mit zwei Projekten, eines über das Schwimmen von Robotern (INRC1), eines über das Einsetzen von Objekten mit einem Roboterarm unter Verwendung von Reinforcement Learning (INRC3). Auf der Simulationsseite beteiligen wir uns im Rahmen des Human Brain Projekts an der Entwicklung der Neurorobotik-Platform, die ein zentrales Werkzeug für alle unsere Projekte ist.
- Neuromorphes Sehen
Die ereignisbasierte Wahrnehmung, insbesondere das Sehen, ist für die Robotik unerlässlich. Diese zweite Forschungslinie dient also eigentlich der ersten, obwohl sie jüngeren Datums ist. In dieser Forschungslinie, die in den Bereichen Automobil, Sicherheit, Militär, Smartphones, Medizin, Haushaltselektronik usw. eingesetzt werden könnte, konzentrieren wir uns auf die mobile Robotik (Drohnen im Projekt FAMOUS), die Industrierobotik (Roboterarm in ELEANOR) und die Mensch-Maschine-Interaktion in einem kommenden Projekt. Wir erforschen auch Möglichkeiten in den Bereichen Raumfahrt und Automobil.
Tutorials
Diese Tutorials richten sich an Ingenieure und F&E-Manager in Unternehmen jeder Größe und bieten Einblicke in eine bahnbrechende Technologie für künstliche Intelligenz auf Edge-Geräten: neuromorphes Computing. Diese Technologie ermöglicht deutliche Fortschritte in Bezug auf Energieeffizienz und Latenzzeiten, mit Leistungssteigerungen um mehrere Größenordnungen.
Ein besonderes Merkmal bestimmter neuromorpher Chips ist die Fähigkeit zum On-Chip- und Online-Lernen, wodurch Systeme anpassungsfähig und selbstoptimierend werden. So können beispielsweise vortrainierte Modelle in Sekunden an neue Benutzer angepasst werden. Neuromorphes Computing eröffnet damit vielseitige Anwendungsmöglichkeiten in Branchen wie Automobiltechnik, Luft- und Raumfahrt, Medizintechnik, Robotik, Logistik, Unterhaltungselektronik und Smartphones und bietet Lösungen für zahlreiche Herausforderungen eingebetteter KI-Anwendungen.
Kontakt
fortiss Lab
Projekte
Publikationen
- SpikeClouds: Streaming Spike-Based Processing of LiDAR for Fast and Efficient Object Detection Robotics and Automation Letters, 10(8):8411-8418, 2025. Details URL DOI BIB
- EEvAct: Early Event-Based Action Recognition with High-Rate Two-Stream Spiking Neural Networks. pages 41-48, 2025. IEEE Press. Details URL DOI BIB
- TONUS: Neuromorphic human pose estimation for artistic sound co-creation pages 1-8, 2025. IEEE. Details URL DOI BIB
- Neuromorphic force-control in an industrial task: validating energy and latency benefits In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 717-724, Abu Dhabi, UAE, 2024. Details URL DOI BIB
- Scaling Up Resonate-and-Fire Networks for Fast Deep Learning In Computer Vision - ECCV 2024, volume 15059 of Lecture Notes in Computer Science, 2024. Details URL DOI BIB
- Dynamic Event-based Optical Identification and Communication Frontiers in Neurorobotics, 18():, 2024. Details URL DOI BIB
- Neurorobotic reinforcement learning for domains with parametrical uncertainty Frontiers in Neurorobotics, 17():, 2023. Details URL DOI BIB
- Generating Event-Based Datasets for Robotic Applications Using MuJoCo-ESIM In Proceedings of the 2023 International Conference on Neuromorphic Systems, volume 1 of ICONS 23, pages 7, New York, NY, USA, 2023. Association for Computing Machinery, Association for Computing Machinery. Details URL DOI BIB
- Neuromorphic Optical Flow and Real-time Implementation with Event Cameras IBM Research Zürich, IEEE Conference on Computer Vision and Pattern Recognition Workshops 2023. Details URL DOI BIB
- Spiking Neural Units ermöglichen effiziente ereignisgesteuerte Kameras blog, 2022. Details URL BIB
- A Spiking Central Pattern Generator for the control of a simulated lamprey robot running on SpiNNaker and Loihi neuromorphic boards Neuromorphic Computing and Engineering, 1(1):, 2021. Details URL DOI BIB
- Experimental and Computational Study on Motor Control and Recovery After Stroke: Toward a Constructive Loop Between Experimental and Virtual Embodied Neuroscience Frontiers in Systems Neuroscience, 14():, 2020. Details URL DOI BIB
- The Neurorobotics Platform for Teaching – Embodiment Experiments with Spiking Neural Networks and Virtual Robots In 2019 IEEE International Conference on Cyborg and Bionic Systems (CBS), 2019. IEEE. Details URL DOI BIB
- A Biomimetic Control Method Increases the Adaptability of a Humanoid Robot Acting in a Dynamic Environment Frontiers in Neurorobotics, 13():, 2019. Details URL PDF DOI BIB
- Running Large-Scale Simulations on the Neurorobotics Platform to Understand Vision – The Case of Visual Crowding Frontiers in Neurorobotics, 13():, 2019. Details URL PDF DOI BIB
- Body Randomization Reduces the Sim-to-Real Gap for Compliant Quadruped Locomotion Frontiers in Neurorobotics, 13():, 2019. Details URL PDF DOI BIB
- The Collaborative Virtual Reality Neurorobotics Lab In Proceedings of the IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pages 1671–1674, Osaka, Japan, 2019. IEEE. Details URL PDF DOI BIB
- Roboter mit Hirn blog, 2018. Details URL BIB
- Connecting Artificial Brains to Robots in a Comprehensive Simulation Framework: The Neurorobotics Platform Frontiers in Neurorobotics, 11():, 2017. Details URL PDF DOI BIB
- A visual tracking model implemented on the iCub robot as a use case for a novel neurorobotic toolkit integrating brain and physics simulation In Proceedings of the IEEE-RAS International Conference on Humanoid Robots (Humanoids), pages 1179–1184, Seoul, South Korea, 2015. Details URL PDF DOI BIB


