ELEANOR

Wir lösen das komplexe und derzeit viel beachtete Problem des robotergestützten Einführens von Objekten (z. B. Steckern) durch den Einsatz ereignisbasierter Bildverarbeitung mit geringer Latenz und neuromorpher Hardware. Dadurch kann das Objekt in einem schnellen Regelkreis präzise positioniert werden, womit wir einen neuen Stand der Technik in der bildverarbeitungsgesteuerten Robotersteuerung schaffen. Die auf spikenden neuronalen Netzen basierende Robotersteuerung erfüllt die Anforderungen an geringe Latenz, präzise visuelle Analyse des Einführungsprozesses, Anpassungsfähigkeit an unterschiedliche Objektformen und Einführungsdynamiken sowie Energieeffizienz der KI-Verarbeitung. Dies eröffnet auch neue Möglichkeiten für mobile Robotikanwendungen.

Unser Ansatz basiert auf der Verwendung einer neuronalen Zustandsmaschine, die unter Verwendung mehrerer spikender neuronaler Netze auf einem neuromorphen Forschungs-Chip implementiert ist. Dies ermöglicht die Echtzeitsteuerung der präzisen Zentrierung des Objekts relativ zum Schlitz zur Vorbereitung eines kraftbasierten Einführungsprozesses. Die Relevanz für bayerische Unternehmen in den Bereichen Robotik und Bildverarbeitung ist sehr hoch, da sie ihnen einen erheblichen Vorsprung bei KI-Technologien verschaffen kann.

Die Innovation unseres Projekts liegt, erstens, in der Verwendung einer ereignisbasierten Kamera für die präzise visionsgesteuerte Armsteuerung. Solche Kameras wurden in der Forschung an mobilen Robotern, wie z. B. Drohnen, bereits ausgiebig eingesetzt (siehe Arbeiten von Prof. D. Scaramuzza aus Univ. Zürich) und ermöglichen schnelle Manöver und 3D-Rekonstruktionen. Die Extraktion von geometrischen und kinematischen Messungen eines Objekts aus Ereignisströmen wurde bisher nicht demonstriert.

Wir entwickeln zweitens die ereignisbasierten Bildverarbeitungsalgorithmen und den adaptiven Controller als spikendes neuronales Netz auf einem neuromorphic Chip, was die Latenzzeit und den Stromverbrauch weiter reduziert und die Adaptivität der resultierenden Lösung ermöglicht. Dieses Vorgehen wird einen Beitrag zum wachsenden Feld des neuromorphen Computings in der Robotik leisten.

Schließlich eröffnet die Integration der ereignisbasierten Bildverarbeitung und der spikebasierten Steuerung die Möglichkeit, diesen schnellen Vision-Sensor für andere Roboteraufgaben einzusetzen, die eine präzise Positionierung des Roboters relativ zum Objekt erfordern, z.B. das Greifen, Manipulieren, oder Platzieren. Dies führt die ereignisbasierte Bildverarbeitung über den Bereich der mobilen Robotik hinaus, in der Industrierobotik und der Armsteuerung ein.

Bayerisches Staatsministerium für Wirtschaft, Landesentwicklung und Energie (StMWi)
Förderkennzeichen DIK-2105-0036// DIK0368/01

01.10.2021 - 31.09.2024

Intel and the Intel logo are trademarks of Intel Corporation in the U.S. and other countries.