CORINNE

Kollaborative Roboter, oder Cobots, sind ein aktuelles Thema in der Robotik, mit beeindruckenden prognostizierten Wachstumsraten. Allerdings können herkömmliche Cobots nur vorprogrammierte Aktionen ausführen und nicht flexibel auf unerwartete Ereignisse reagieren. fortiss verfolgt daher das Ziel, Cobots beizubringen, Gesten oder Handbewegungen in Echtzeit zu erkennen. Diese Fähigkeit soll dann im Anwendungsfeld Schweißarbeit eingesetzt werden können, wobei das erlernte Wissen nicht neu beigebracht, sondern übertragen werden soll.

fortiss strebt an, einen komplexen interaktiven Schweißarbeitsprozess zusammen mit einem menschlichen Bediener zu realisieren. Hierfür werden Algorithmen für den MAiRA-Roboter von NEURA Robotics entwickelt. Diese Algorithmen nutzen einen neuartigen neuromorphen Sensor, um menschliche Gesten zu erkennen. Dadurch kann der Roboter auf intelligentem Weg komplexe Muster und Bewegungen erkennen und auf natürliche Weise mit dem Bediener interagieren sowie, auf dessen Gesten reagieren, um den Schweißprozess zu optimieren. Bezüglich des Sensors kann fortiss bereits auf Projekterfahrung zurückgreifen. Dieser basiert auf einer ereignisbasierten Kamera in HD-Auflösung, die visuelle Ereignisse (Pixeländerungen) an ein vortrainiertes neuronales Spiking-Netzwerk liefert, das auf einem neuromorphen Chip (Loihi-Forschungschip von Intel) läuft.

Die folgenden Fragestellungen sollen im Projekt erforscht und behoben werden:

• Neue Gesten sollten während der Laufzeit auf nicht überwachte Weise in einem sogenannten kontinuierlichen Lernparadigma gelernt werden. Dies bedeutet, dass das System in der Lage sein soll, sein Wissen über gelernte Gesten ständig zu verfeinern und unbekannte Gesten selbstständig zu erkennen und zu lernen.
• Der in diesem Projekt anvisierte Anwendungsfall umfasst mehrere Cobots, die im Laufe der Zeit verschiedenste Gesten gelernt haben. Zentrale Forschungsfrage hier ist, wie lässt sich das Wissen über eine neu erlernte Geste von einem Cobot auf die anderen übertragen, ohne dass diese ebenfalls dafür trainiert werden müssen.