Sensordatenfusion

Sensordatenfusion im Überblick

Als Sensordatenfusion wird allgemein die Verknüpfung der Ausgabedaten mehrerer Sensoren bezeichnet. Ziel ist fast immer die Gewinnung von Informationen besserer Qualität. Die Bedeutung von "bessere Qualität" hängt dabei immer von der Applikation ab: So können beispielsweise die Daten zweier Radaranlagen zur Erfassung eines größeren Detektionsbereiches zusammengefasst (fusioniert) werden. Eine andere Anwendung der Sensordatenfusion besteht beispielsweise in der Fusion von Kamera- und Radardaten, um Objekte zu klassifizieren und die Detektionsleistung des Sensorsystems zu erhöhen.

Ziele und Potentiale der Sensordatenfusion

Bei der Auswahl von Sensoren für eine Anwendung stehen neben den Kosten vor allem Vollständigkeit, Widerspruchsfreiheit, Genauigkeit und Sicherheit der erfassten Daten im Vordergrund. Die Nutzung mehrerer Sensoren inklusive einer geschickten Verknüpfung der Ausgabedaten macht das Erreichen dieser Ziele zumindest potentiell wahrscheinlicher als die Verwendung nur eines Sensors:

• Die Zuverlässigkeit des Gesamtsystems wird durch die Verwendung mehrerer Sensoren in der Regel erhöht. Es ist zum einen leichter, den Ausfall eines Sensors zu erkennen und zum anderen wird die Kompensation des Ausfalls möglich. Ein ausgefallener Sensor bedeutet also noch nicht zwangsweise den kompletten Ausfall des Gesamtsystems.

• Bei Verwendung mehrerer Sensoren – vor allem, wenn sie nach unterschiedlichen Messprinzipien arbeiten – erhöht sich auch die Detektionswahrscheinlichkeit. Das heißt, Phänomene werden vom Gesamtsystem auch dann erkannt, wenn einzelne Sensoren aufgrund von Umweltbedingungen in ihrer Wahrnehmung eingeschränkt oder "blind" sind.

• Ein wichtiges Ziel bei der Verknüpfung von Daten mehrerer Sensoren ist die Erhöhung der Genauigkeit. Voraussetzung ist, dass die Messfehler der Sensoren nicht korreliert sind, gewissen Wahrscheinlichkeitsdichtefunktionen genügen müssen (z. B. Normalverteilung) oder vom System anders identifizierbar und quantisierbar sein müssen. Häufig werden hier Kalman-Filter verwendet und die erreichte finale Genauigkeit kann nach den Regeln der Fehlerfortpflanzung ermittelt werden.

• Die Sichtbereiche von Sensoren sind üblicherweise beschränkt, die Verwendung mehrerer Sensoren vergrößert den Sichtbereich des Gesamtsystems entsprechend.

• Die Auflösung von Mehrdeutigkeiten ist bei der Verwendung mehrerer Sensoren einfacher.

• Zusätzliche Sensoren liefern oft zusätzliche Informationen und erweitern so das Wissen des Gesamtsystems.

• Mehrere Sensoren, die dasselbe Phänomen im selben Sichtbereich erfassen, erhöhen effektiv die Messrate.

• Sensordatenfusion kann auch zur Kostenreduktion verwendet werden. In diesem Fall ersetzen mehrere, in Summe günstigere Sensoren einen besonders teuren Sensor.

Nachteile und Probleme der Sensordatenfusion

Neben den genannten Vorteilen existieren aber auch Probleme, die die Verwendung mehrerer Sensoren und Verknüpfung ihrer Ausgabedaten mit sich bringen können:

• Höhere Datenraten belasten die Kommunikationssysteme. Die Komplexität der Kommunikation steigt an, ebenso wie der Zeitbedarf für die Übertragung und die Verarbeitung.

• Die Komplexität des Gesamtsystems steigt an. Dies erhöht die Wahrscheinlichkeit von Fehlern bei Spezifikation und Implementierung des Systems.

• Die Integration der Sensoren (zum Beispiel in ein Fahrzeug) wird mit steigender Anzahl immer schwieriger. Dies liegt am Platzbedarf, an der begrenzten Anzahl der für die Messung günstigen Einbauorte und der notwendigen Kommunikations- und Versorgungseinrichtungen.

• Falls nicht mehrere, günstige Sensoren einen teuren Sensor ersetzen sollen, steigen die Kosten.

• Da die Messungen der einzelnen Sensoren typischerweise zu unterschiedlichen Zeitpunkten stattfindet und auch die Abtastzeit oft unterschiedlich ist, ergibt sich die Notwendigkeit der Synchronisation der Daten. Dies führt zu zusätzlichen Aufwänden in Software und Hardware (zum Beispiel Echtzeit-fähige Bussysteme).

Unterscheidungskriterien

Ansätze zur Sensordatenfusion lassen sich nach unterschiedlichen Kriterien unterscheiden:

Funktionalität

Brooks und Iyengar (1997) unterscheiden vier Arten der Sensordatenfusion hinsichtlich ihrer Funktion:

• Eine komplementäre Fusion hat das Ziel, die Vollständigkeit der Daten zu erhöhen. Unabhängige Sensoren betrachten hierfür unterschiedliche Sichtbereiche und Phänomene oder messen zu unterschiedlichen Zeiten.

• Bei der konkurrierenden Fusion erfassen Sensoren gleichzeitig denselben Sichtbereich und liefern Daten gleicher Art. Die (oft gewichtete) Verknüpfung solcher, "konkurrierender" Daten kann die Genauigkeit des Gesamtsystems erhöhen.

• Reale Sensoren erbringen die gewünschten Informationen oft nicht allein. So ergibt sich beispielsweise die benötigte Information erst aus dem Zusammensetzen der verschiedenen Ausgabedaten. Eine solche Fusion wird als kooperative Fusion bezeichnet.

• Ein Spezialfall ist die unabhängige Fusion. Streng genommen liegt keine echte Sensordatenfusion vor, weil hier Daten unterschiedlicher Sensoren nicht verknüpft, aber in einem gemeinsamen System verarbeitet werden.

In realen Systemen kommen typischerweise Mischformen bzw. die Kombination verschiedener Fusionstypen zum Einsatz (manchmal auch als hybride Fusion bezeichnet).

Ebenen der Sensordatenfusion

Hall & Llinas (1997) unterscheiden drei Ebenen der Sensordatenfusion:

• Bei der data fusion werden die rohen Sensordaten vor weiteren Signalverarbeitungsschritten miteinander verschmolzen. Beispiel: Geräuschunterdrückung mit Hilfe von Beamforming.
• Bei der feature fusion erfolgt vor der Verschmelzung eine Extraktion eindeutiger Merkmale. Die neu kombinierten Merkmalsvektoren werden im Anschluss weiterverarbeitet. Beispiel: Audiovisuelle Spracherkennung. Hierbei werden akustische und visuelle Merkmalsvektoren kombiniert um durch die Kombination von Sprachlauten und Lippenbewegungen auch in lauten Umgebungen oder bei gestörten Kanälen akzeptable Erkennraten zu erzielen.
• Bei der decision fusion erfolgt die Zusammenführung erst nachdem alle Signalverarbeitungs- und Mustererkennungsschritte durchgeführt wurden.

Fusionsarchitektur

Nach Klein (1999) lassen sich Fusionsansätze nach folgenden Architekturtypen unterscheiden:

• Bei der Sensor Level Fusion verarbeiten dem eigentlichen Fusionsmodul vorgeschaltete Module die Sensordaten und leiten sie dann an das Fusionsmodul weiter. Ein Beispiel für eine solche Vorverarbeitung ist die Merkmalsextraktion. Die Menge an zu fusionierenden Daten ist in einer solchen Architektur durch die Vorverarbeitungsschritte in der Regel reduziert. Die Fusion von Daten geschieht dann entweder auf der Ebene "feature fusion" oder "decision fusion".

• Dienen dem Fusionsmodul nur minimal vorverarbeitete Sensordaten als Eingangsdaten, so spricht man von einer Central Level Fusion. Weitergehende Signalverarbeitungsschritte erfolgen erst nach der Fusion, sodass die Ebene der Fusion typischerweise "data fusion" ist. Die Menge an zu fusionierenden Daten ist hier kaum gegenüber der Menge der Sensordaten reduziert.

• Bei Mischformen kommen Elemente von Central Level Fusion und Sensor Level Fusion zum Einsatz. Es werden also parallel sowohl vorverarbeitete Daten als auch Daten direkt vom Sensor fusioniert. Oft kommt hier die Bezeichnung Hybrid Fusion zum Einsatz, was Verwechslungen mit der Unterscheidung nach Funktionalität möglich macht.

Weitere Unterscheidungskriterien

Die Literatur beschreibt noch weitere Arten von Fusionstypen, hier nur kurz aufgeführt:

• Sensornetzwerke, sowohl statisch als auch dynamisch
• Homogene und heterogene Anordnungen, also die Verwendung von Sensoren gleichen oder unterschiedlichen Typs
• Algorithmenfusionen

Werkzeuge

Die Verknüpfung der Sensordaten findet meist innerhalb von Rechnern oder Steuergeräten statt. Es gibt sehr viele Algorithmen bzw. mathematische Verfahren, um Sensordaten aus verschiedenen Quellen miteinander zu fusionieren. Einige Beispiele sind:

• Klassifikationsverfahren
• stochastische Verfahren
• Kalman-Filter
• Fuzzy-Logik
• logische Verknüpfungen
• auf Regeln basierende Verfahren

Anwendungsbeispiele

Die Sensordatenfusion wird in verschiedenen technischen Bereichen angewendet. Ein Anwendungsgebiet sind Fahrerassistenzsysteme. Daten von Kameras werden hier zum Beispiel mit den Positionsangaben der Radarsensoren validiert, um Objekte/Hindernisse sicher erkennen zu können. In manchen Systemen erweitert man den Sichtbereich des Fernbereichs-Radars mit Radaren für den Nahbereich, um einen größeren Sichtbereich zu erhalten und zusätzliche Funktionen anbieten zu können.

Die Odometrie des europäischen Zugbeeinflussungssystems ETCS nutzt Sensordatenfusion, um die spezifischen Schwächen einzelner Sensortypen zur sicheren Wegmessung auszugleichen.

Literatur Allgemein

• D. L. Hall, J. Llinas: An introduction to multisensor data fusion. In: Proceedings of IEEE. Band 85, 1997, OCLC 926654310, S. 6–23.
• Richard R. Brooks, Sundararaja S. Iyengar: Multi-Sensor Fusion: Fundamentals and Applications with Software. Prentice Hall PTR, 1997, ISBN 0-13-901653-8.
• Lawrence A. Klein: Sensor Data Fusion. Artech House, 1999, ISBN 0-8194-3231-8.
• Yaakov Bar-Shalom (Hrsg.): Multitarget-multisensor tracking : applications and advances. Band I, Artech House, 1989, ISBN 0-89006-377-X.

Literatur zu Luftfahrtanwendungen

• J. Wendel: Integrierte Navigationssysteme – Sensordatenfusion, GPS und Inertiale Navigation. München 2007, ISBN 978-3-486-58160-7.
• S. Winkler: Zur Sensordatenfusion für integrierte Navigationssysteme unbemannter Kleinstflugzeuge. Shaker Verlag, Aachen 2007, ISBN 978-3-8322-6060-6.

Siehe auch

• Kalman-Filter
• Tracking
• Grid of Evidence
• Bayes-Klassifikator
• Mustererkennung
• Wahrscheinlichkeitsdichte
• Signalverarbeitung