D.3 Multimodale Szenenanalyse

Projektleiter

Jun.-Prof. Dr.-Ing. Marcin Grzegorzek, Prof. Dr.-Ing. Andreas Kolb

Ausgangslage

Automatische Objekterkennung und semantische Szenenanalyse gehören immer noch zu den ungelösten Problemen der Mustererkennung. Die meisten existierenden Verfahren zur Szenenanalyse nutzen eine einzige Sensormodalität für die Aufnahme, in der Regel 2D-RGB, verlassen sich auf eine bestimmte Merkmalsberechnungsmethode, z.B. basierend auf der Erscheinung oder der Form, und verwenden ein vorgegebenes Klassifikationsverfahren. Sie erreichen eine zufriedenstellende Robustheit nur in Umgebungen mit stark reduzierter Komplexität, z.B. bei industriellen Anwendungen. Dagegen sind generische Objekterkennungsverfahren zwar anwendungsunabhängig formuliert, erreichen aber in vielen Fällen unzureichende Klassifikationsraten.

Ziele und Arbeitsprogramm

In diesem Projekt werden multimodale Daten von RGB-, Tiefen- und Multispektralsensoren verarbeitet und zur Szenenanalyse herangezogen. Zum einen wird ein Ansatz zur adaptiven, multimodalen Objektrepräsentation und -erkennung konzipiert und realisiert, zum anderen wird eine Methode zur Integration ontologischen Hintergrundwissens in die sensornahe Szenenanalyse entwickelt, womit eine semantisch fortgeschrittene Interpretation von Szenen erfolgen kann. Das übergeordnete Ziel dieses Projekts ist die Erforschung generischer Objekterkennungsverfahren, die von Kontextwissen (Wissen aus einer bestimmten Anwendungsdomäne) und von der Adaptivität der Datenrepräsentation profitieren können, um Szenenanalyse auf möglichst hoher, semantischer Ebene zu ermöglichen.