B1 Robuste Sensorfusion und Merkmalsextraktion

Projektleiter

Prof. Dr. Andreas Kolb, Prof. Dr. Christoph Ruland

Ausgangslage

Systeme der zivilen Sicherheit erfordern in der Regel robuste Verfahren zur Merkmalsextraktion, Sensordatenfusion und/oder räumlich-zeitliche Akkumulation von Daten. In vielen Fällen werden neue bildgebende Sensormodalitäten wie Tiefen-, Multispektral- oder THz-Daten mit klassischen Verfahren der 2D-Bildgebung bearbeitet. Aufgrund der sehr unterschiedlichen Charakteristika führt dies jedoch häufig zu instabilen Ergebnissen. Im Bereich der Merkmalsextraktion für Tiefendaten eigenen sich 2D-Standard-Merkmale wie SIFT oder SURF nur sehr bedingt, weshalb häufig mit den Intensitätsdaten einer ToF-Kamera gearbeitet wird. Multimodale 2D/3D-Merkmale wurden bislang nur anwendungsspezifisch untersucht, z.B. zur Gesichtserkennung.

Ziele und Arbeitsprogramm

Ziel dieses Teilprojektes ist, die Erforschung übergreifender Aspekte von robusten und echtzeitfähigen Methoden zur Merkmalsextraktion, Sensordatenfusion und zur räumlich-zeitlichen Akkumulation von Sensordatenströmen, wobei im Wesentlichen multimodale Daten zugrunde gelegt werden. Bei der Sensordatenfusion liegt der Schwerpunkt auf Methoden zur kontinuierlichen Fusion nicht synchronisierter Sensorendaten. Die räumlich-zeitliche Akkumulation fokussiert sich auf die Verarbeitung von 3D- und Multispektral-Daten, ggf. auch 3D- und THz-Daten, unter Berücksichtigung dynamischer Szenen.

PMD camera and RGB Camera combination	Fusion of 160x120 Pixel PMD Camera with RGB