ELEANOR

ELEANOR

Industrieroboter sehen mit neuromorphen Augen

ELEANOR

In Anknüpfung an das INRC3-Projekt, bei dem einem Roboterarm beigebracht wird, ein Objekt nur mit Kraftrückkopplung einzuführen, wird im Projekt ELEANOR (Energie- und Latenzeffizientes Einfügen von Objekten mittels eines mit ereignisbasierter Kamera und NeuromOrpher Hardware ausgestatteten Roboterarms) eine ereignisbasierte Kamera verwendet, mit der sich der Arm dem Schlitz nähert. Dazu wird optischer Fluß und 3D-Rekonstruktion über Intels Forschungschip Loihi eingesetzt.

Projektbeschreibung

Wir schlagen vor, das komplexe und aktuell viel erforschte Problem des robotischen Einfügens von Objekten (z.B. Stecker) zu lösen, indem wir ereignisbasierte Bildverarbeitung mit geringer Latenz und neuromorpher Hardware verwenden, um das Objekt in einem schnellen Regelkreis präzise zu positionieren, und damit einen neuen Stand der Technik bei der bildverarbeitungsgesteuerten Roboterkontrolle zu etablieren. Die auf spikenden neuronalen Netzen basierende Robotersteuerung erfüllt die Anforderungen der geringen Latenz und der Präzision der visuellen Analyse des Einsetzvorgangs, der Anpassungsfähigkeit an verschiedene Objektformen und Einsetzdynamiken sowie der Energieeffizienz der KI-Verarbeitung. So werden auch mobile Robotikanwendungen ermöglicht.

Unser Ansatz beruht in der Verwendung von optischem Fluss und einer ereignisbasierten 3D-Rekonstruktion in einem spikenden neuronalen Netz auf einem neuromorphem Forschungs-Chip. Das ermöglicht die Echtzeitsteuerung der präzisen Zentrierung des Objektes, relativ zu dem Slot in Vorbereitung zu einem kraftbasierten Einfügungsvorgang. Die Relevanz für bayerische Unternehmen in den Bereichen Robotik und Bildverarbeitung ist sehr hoch, da sie dadurch einen signifikanten Vorsprung in den KI-Technologien erhalten können.

Forschungsbeitrag

Die Innovation unseres Projekts liegt, erstens, in der Verwendung einer ereignisbasierten Kamera für die präzise visionsgesteuerte Armsteuerung. Solche Kameras wurden in der Forschung an mobilen Robotern, wie z. B. Drohnen, bereits ausgiebig eingesetzt (siehe Arbeiten von Prof. D. Scaramuzza aus Univ. Zürich) und ermöglichen schnelle Manöver und 3D-Rekonstruktionen. Die Extraktion von geometrischen und kinematischen Messungen eines Objekts aus Ereignisströmen wurde bisher nicht demonstriert.

Zweitens, werden wir die ereignisbasierten Bildverarbeitungsalgorithmen und den adaptiven Controller als spikendes neuronales Netz auf einem neuromorphic Chip entwickeln, was die Latenzzeit und den Stromverbrauch weiter reduziert und die Adaptivität der resultierenden Lösung ermöglicht. Dieses Vorgehen wird einen Beitrag zum wachsenden Feld des neuromorphen Computings in der Robotik leisten.

Schließlich wird die Integration der ereignisbasierten Bildverarbeitung und der spikebasierten Steuerung die Möglichkeit eröffnen, diesen schnellen Vision-Sensor für andere Roboteraufgaben einzusetzen, die eine präzise Positionierung des Roboters relativ zum Objekt erfordern, z.B. das Greifen, Manipulieren, oder Platzieren. Dies wird die ereignisbasierte Bildverarbeitung über den Bereich der mobilen Robotik hinaus, in der Industrierobotik und der Armsteuerung einführen.

Förderung

Projektdauer

01.10.2021 - 31.09.2024

Intel and the Intel logo are trademarks of Intel Corporation in the U.S. and other countries.
Dr. Evan Eames

Ihr Kontakt

Dr. Evan Eames

+49 89 3603522 161
eames@fortiss.org

Projektpartner

Publikationen

  • 2023 Generating Event-Based Datasets for Robotic Applications Using MuJoCo-ESIM Camilo Amaya, Gintautas Palinauskas, Evan Eames, Michael Neumeier und Axel von Arnim In Proceedings of the 2023 International Conference on Neuromorphic Systems, volume 1 of ICONS 23, pages 7, New York, NY, USA, Association for Computing Machinery, Association for Computing Machinery. Details URL DOI BIB