BIKINI

BIKINI konzentriert sich auf die Nutzung ereignisbasierter Bildverarbeitung für eine robuste Objektverfolgung in der industriellen Automatisierung. Im Gegensatz zu herkömmlichen framebasierten Videos erkennt unsere neuromorphe Kamera nur Bewegungsereignisse, wodurch die Datenlast und die Verarbeitungsanforderungen drastisch reduziert werden. Wir haben das System mit einer Vielzahl von Objekten – von Tassen bis hin zu Glasflaschen – entwickelt und getestet, die sich auf einem Förderband bewegen, und maßgeschneiderte spiking neuronale Algorithmen entwickelt, um sie in Echtzeit zu verfolgen. Das Ergebnis: eine extrem latenzarme, stromsparende Verfolgung, die es Robotern ermöglicht, sich bewegende Objekte schnell, genau und zuverlässig aufzunehmen, ohne das Band anzuhalten.

Das Projekt untersucht, wie spikende neuronale Netze (SNNs) und Ereigniskameras eine Echtzeit-Objekt- und Behälterverfolgung mit verbesserter Latenz im Vergleich zu aktuellen Sensoren für die industrielle Automatisierung ermöglichen können. Techniken wie Gabor-Filter, Proto-Objekt-Salienz und dynamische neuronale Felder wurden getestet. Das System erreichte Verarbeitungsraten von bis zu ~4.800 Hz und behielt eine stabile Leistung bei Fördergeschwindigkeiten von bis zu 0,6 m/s bei. Es erkannte zuverlässig die Position und Ausrichtung von Objekten, jedoch nicht die vollständige 6DoF-Pose. Die Architektur zeigte sich robust gegenüber Bewegungsunschärfe und Lichtveränderungen und lieferte Reaktionen mit geringer Latenz und hochfrequente Ausgaben. Die Orientierungserkennung war teilweise erfolgreich und soll durch lernbasierte Methoden weiter verbessert werden. Zu den Einschränkungen zählen Erkennungsverzögerungen in Grenzfällen und eine verringerte Genauigkeit in unübersichtlichen Szenen.

IBM

01.06.2023 - 31.12.2023