FAMOUS

FAMOUS

Erkennung und Identifizierung von Objekten mit ereignisbasierter Bildverarbeitung

FAMOUS

Wir verwenden eine ereignisbasierte Kamera, die in eine fliegende Drohne eingebettet ist, um emittierende Signale am Boden zu erkennen und zu verfolgen. Im Rahmen dieses Projekts soll dieser Sensor in einer Simulation implementiert und ein realer Anwendungsfall für die Anlagenüberwachung entwickelt werden.

Projektbeschreibung

Das allgemeine Ziel dieses Projekts FAMOUS (Field service and Asset Monitoring with On-board SNUand event-based vision in Simulated drones) ist es, die Anwendbarkeit von IBMs Spiking Network Units (SNU) in realen, auf Ereigniskameras basierenden Bildverarbeitungsanwendungen zu beweisen. Im Rahmen des Projekts sollen SNU auf einen Drohnenanwendungsfall angewendet werden, bei dem mit Kameras ausgestattete Drohnen in einer Simulation Objekte am Boden erkennen, identifizieren und lokalisieren und eine Karte davon erstellen sollen. Die Objekte werden dank eines zuvor entwickelten "aktiven optischen Identifikationssensors", der perfekt mit ereignisbasierten Kameras zusammenpasst, erkannt, identifiziert und lokalisiert.

Die Innovation in diesem Projekt liegt in der Verwendung von Spiking AI und ereignisbasierten Kameras, die beide im Vergleich zu herkömmlichen KI und Kameras extrem energieeffizient sind. Dieses Proof-of-Concept-Projekt, das ausschließlich in der Simulation durchgeführt wird, soll dann zu einem ehrgeizigeren Projekt führen, bei dem die Hardware-Implementierung untersucht werden kann. IBM schlägt vor, das SNU-Toolset zu ergänzen, um ereignisbasierte Vision-Sensoren und -Algorithmen zu unterstützen, während fortiss die Verantwortung für den Aufbau des simulierten Experiments, die Implementierung des virtuellen Sensors zur aktiven optischen Identifizierung und die Integration von SNU in die Anwendung übernehmen wird. Wir erwarten am Ende einen simulierten Demonstrator, der im Münchner Highlight-Tower präsentiert wird.

Forschungsbeitrag

Der große Durchbruch ist hier die Verwendung von Spiking und ereignisbasierter Echtzeitsensorik. Dies wird beweisen, dass die SNU in der Lage ist, diesen Technologiebereich abzudecken. Die niedrige Latenz und der niedrige Energieverbrauch der neuromorphen Hardware und der Ereigniskameras werden KI-basierte Außendienst- und Anlagenüberwachungsanwendungen ermöglichen, wobei die technischen Risiken darin bestehen, dass das SNU-Toolset nur schwer durch ereignisbasierte Sensoren ergänzt werden kann. Die Implementierung des AOI-Sensors in Spiking könnte ebenfalls Zeit in Anspruch nehmen und die Projektergebnisse verzögern, wenn sie nicht genau genug überwacht wird.

In diesem sechsmonatigen Projekt, das sich ausschließlich in der Simulation befindet, sollten wir in der Lage sein, zumindest das vollständige 3D-Experiment zu erreichen, bei dem die Kamera die AOI-Signale erfasst und lokalisiert. Damit wäre ein Teil der Objektkarte verfügbar. Wenn die Objektidentifizierung innerhalb des Projektzeitrahmens möglich ist, wäre dies das optimale Ergebnis.

Projektdauer

01.10.2021 - 31.03.2022

Projektpartner

IBM Munich Center