Flexible Daten Akquisition and Interpret

Flexible Daten-Akquisition & Interpretation für verteilte Sensor-AktorSysteme im Produktionsumfeld
Sebastian Zug, André Dietrich, Marc Schappeit, Christoph Steup, Prof. Dr. Jörg Kaiser
Institut für verteilte Systeme OvGU Magdeburg,
{zug, dietrich, schappeit, steup, kaiser}@ivs.cs.uni-magdeburg.de

Zusammenfassung
Aktuelle Forschungsprojekte propagieren die unmittelbare Interaktion von Robotern mit Menschen im privaten
wie im industriellen Bereich. Die dafür nötige fehlertolerante und flexible Umgebungserfassung stellt die
bestehenden zentralistisch und statisch orientierten Konzepte vor große Probleme. Geht man aber davon aus, das
die Informationen aller Sensor-Aktor-Systeme innerhalb einer intelligenten Umgebung verbreitet werden, so
kann auf dieser Basis eine dynamische, adaptive und damit fehlertolerantere Aggregation von Messdaten
umgesetzt werden. Diese Arbeit untersucht die aus diesem Konzept resultierenden Anforderungen, beschreibt
die darauf aufbauend entwickelte Architektur und illustriert anhand eines Beispielszenarios die Vorteile des
Ansatzes.
Schlüsselwörter: Datenfusion, Datenbeschreibung, Umgebungsmodellierung, verteilte Systeme, Robotik

1.

Einleitung

Autonomie definiert sich für Robotersysteme als das selbstständige Handeln im Sinne einer Aufgabenstellung

innerhalb einer spezifischen Umgebung, wobei Eingriffe des Menschen (weitgehend) unterbleiben. Diese
Selbstständigkeit stellt den Entwickler vor verschiedene Herausforderungen auf unterschiedlichem Niveau, die
im Wesentlichen durch die Variabilität und Dynamik der Umgebung bestimmt wird, mit der das Robotersystem
zur Laufzeit konfrontiert ist [18]. Für einen eingehausten Manipulator, der eine Maschine be- und entlädt,
beschränkt sich die Selbstständigkeit auf die Umsetzung einer vorgegebenen Bewegung und das Hantieren des
Werkstückes. Deutlich aufwendiger wird die Implementierung autonomen Verhaltens, wenn mobile Systeme
betrachtet werden, die in realistischen Umgebungen eingesetzt, kooperieren und unmittelbar mit Menschen
interagieren. Diese als Assistenzroboter bezeichneten Applikationen sind Gegenstand aktueller
Forschungsprojekte und werden zukünftig in nicht nur den privaten Raum (im Bereich der Servicerobotik, wie
Küchen-, Staubsaug-, Pflegeroboter, etc.), sondern auch Produktions- und Fertigungsbetriebe durchdringen. In
letztgenannten Einsatzszenarien werden hier schon wegen der aus der Größe resultierenden höheren
Gefahrenpotenziale gesteigerte Anforderungen an die Sicherheit gestellt (vgl. EN ISO 10218-1 und 2). Anders
als für das Beispiel des Beladungsroboters ist dabei eine hinreichend genaue Erfassung und Abbildung der
Umgebung elementare Grundlage des autonomen Handelns. Im Vergleich zu statischen Sensor-Aktor-Systemen
steigt mit der angestrebten Mobilität die Variabilität der Umgebung, sodass sich drei wesentliche
Herausforderungen ergeben:
• Zum einen lassen sich die möglichen Umgebungsbedingungen und die Zustände eines ortsinvarianten
Roboters, anders als für einen statischen oder gar eingehausten Manipulator, während der Entwicklung
nicht mehr vollständig planen. Damit können zum Beispiel bei der Bewegung Hinderniskonstellationen
auftreten, die von der vorhandenen Sensorik nicht oder nur unzureichend erfasst werden können.

• Der Messvorgang wird sensorspezifischer durch Umgebungsparameter überlagert oder gestört.
Beispielsweise beeinflussen Lichtverhältnisse die Umgebungserfassung per Kamera oder die
Umgebungstemperatur die ultraschallbasierte Distanzmessung. Diese Größen können aber in den
angestrebten mobilen Szenarien nicht als konstant angenommen oder mit geeigneten Mitteln
(Scheinwerfer) garantiert werden, wie dies in statischen Applikationen häufig der Fall war.
• Trotz dieser Unwägbarkeiten steigen aus der unmittelbaren Zusammenarbeit mit dem Menschen heraus
die Zuverlässigkeitserwartungen an das System. Eine Kernaufgabe dabei ist die sichere sensorische
Erfassung der sich in der Nähe aufhaltenden Objekte, dies umfasst Personen, andere Robotersysteme,
veränderlicher Objekte der Umgebung oder Bereiche mit veränderlichen Sicherheitssituationen und die
Abbildung dieser Informationen in ein konsistentes Weltmodell.
Diese Herausforderungen lassen sich mit den etablierten Ansätzen zum Entwurf und Betrieb von Sensor-AktorSystemen nur schwer und mit hohem Aufwand umsetzen. So würde aus dem gesteigerten Anspruch an die

Sensorik, den veränderlichen Umgebungsbedingungen usw. eine außerordentlich komplexe Sensorstruktur
resultiert. Hinsichtlich der Entwicklung eines solchen Systems bestände zudem die Schwierigkeit, dass sowohl
die Hardware als auch die Software stark miteinander abgestimmt und verwoben wären und daher die Wart-,
Erweiterbarkeit ebenso starken Beschränkungen unterliegt wie die Wiederverwendbarkeit.
Aus diesem Grund wurde durch die Arbeitsgruppe für Eingebettet Systeme und Betriebssysteme der Otto-vonGuerike-Universität Magdeburg ein Konzept für die dynamische Aggregation von Messdaten entworfen. Der
Ansatz geht vor dem Hintergrund fortschreitender Miniaturisierung und der Verbreitung von zuverlässigen
Funkverbindungen davon aus, dass die gegenwärtig fix einer spezifischen Anwendung zugeordneten
Messsysteme sich zu intelligenten Umgebungen hin entwickeln werden. Damit stehen deren Messwerte allen

nachfragenden Applikationen zur Verfügung. Ursprung der Daten können dabei fest installierte Sensorik sein,
andere Robotersysteme oder Personen, die mit kleidungsintegrierter Sensorik oder modernen Smartphones als
vorgelagerte Informationsquellen dienen. Über diese je nach Standort und Konstellation abhängige Redundanz
lassen sich die oben genannten Herausforderungen deutlich besser und kostengünstiger meistern, als mit in sich
geschlossenen Applikationen. Für eine mobile Transportplattform bedeutet dies, dass diese zum Beispiel mit der
Sensorik der Gebäudeautomatisierung kommuniziert und die lokale Temperatur oder die Zustände der Türen
abzufragen. Auf diese Weise lassen sich für eine Multirobotapplikation unter Umständen erhebliche
Kosteneinsparungen erreichen, da eben nicht jede Plattform mit beispielsweise mit einem Laserscanner
ausgestattet werden muss, um die Stellung der Tür aufwendig zu berechnen. Die zuvor diskutierte
Handlungsautonomie wird damit auf eine Wahrnehmungsautonomie ausgedehnt.
In dieser Arbeit diskutieren wir die Anforderungen der dynamischen Datenaggregation und beschreiben eine
mehrschichtige Architektur zur Umsetzung dieser Idee. Dazu werden zunächst die Kernherausforderungen
definiert und darauf aufbauend die einzelnen Schichten vorgestellt.

2.

Anforderungen und Stand der Technik

Die Anforderungen der variablen Messdatenerfassung folgen der Verarbeitungskette eines Datensatzes. Zunächst
müssen die Informationen kommuniziert werden, im Weiteren richtig interpretiert und gewichtet und letztendlich

in ein Weltmodell eingefügt werden, um darauf aufbauend Entscheidungen zum Verhalten treffen zu können.
2.1 Datenaustausch
Komplexe Anwendungen bauen zumeist auf einer heterogenen Netzwerkstruktur auf. Während auf der untersten
Ebene Feldbusse wie CAN, Profibus usw. zum Einsatz kommen, wird auf der Leitebene über TCP/IP
Verbindungen kommuniziert. Damit also überhaupt ein Datenaustausch zwischen verschiedenen Elementen
eines solchen Netzes möglich ist, müssen diese durch entsprechende Gateways miteinander verknüpft sein.
Gleichzeitig sollten die unterschiedlichen Eigenschaften der Netze durch eine geeignete Middleware gekapselt
und die Einhaltung bestimmter Übertragungsqualitäten wie Latenzen, Bandbreite usw. sichergestellt werden. Um
die geforderte nahtlose Integration muss zudem die Erweiterbarkeit des Netzes zur Laufzeit gewährleistet
werden. Im Hinblick auf die Entwicklung ist der Anwender durch eine Programmier-API zu unterstützen, die
unabhängig von der Zielplattform einheitliche Schnittstelle für die Kommunikation bietet.
Middlewareimplementierungen aus dem industriellen Bereich wie CORBA [40], DDS [22] oder JMS [21]
scheitern zumeist an diesen Forderungen und.
2.2 Datenvalidierung
Die zu erwartende Heterogenität der Sensoren bei gleichzeitiger Unwägbarkeit der die Messungen begleitenden
Umgebungsinformationen führt zu Messdaten, deren Güte höchst unterschiedlich zu bewerten ist. Vor dem
Hintergrund der Unterschiedlichkeit der zugehörigen Fehlermodelle muss die Aussage zur Gültigkeit in einer
einheitlichen Fehlersemantik eingebettet werden, um erstens die individuellen Sensoreigenschaften so weit wie
möglich zu kapseln und zweitens eine Vergleichbarkeit zwischen verschiedenen Systemen zu gewährleisten. Erst
damit kann eine adaptive Verarbeitung eine optimale Selektion und Gewichtung der Datensätze ausführen.

Folglich bedarf es einer entsprechenden Prüfung der Messdaten und Fusionsresultate, wobei es im Sinne einer
konsistenten Bewertung wünschenswert wäre, dies unmittelbar auf dem den Datensatz generierenden Knoten
vorzunehmen. Allerdings fehlte eingebetteten Knoten dazu häufig die für die Analyse der Daten notwendige
Rechenleistung und zum anderen der Überblick über möglicherweise redundante Messungen, sodass ein
verteilter Fehlerdetektions- und Bewertungsansatz nötig.
Für die Detektion eines fehlerhaften Verhaltens bedarf es eines Referenzwertes, der sehr unterschiedlicher Natur
sein kann [38]. Einfachste Möglichkeit ist die Integration einer redundanten Sensorik, die gegeneinander mittels
Votermechanismen validiert werden [3, 17]. Demgegenüber setzt zum Beispiel die fehlertolerante
Regelungstechnik zumeist auf mathematische Modelle des beobachteten Systems [4, 14] und versucht damit

Fehlerzustände und deren Ausgangspunkte zu erkennen. Analoge Untersuchungen können auch anhand eines
Signalmodells vollzogen werden, wenn also bestimmte Bedingungen an einen gültigen zeitlichen Verlauf eines
Messwertes gestellt werden [10]. Im einfachsten Fall kann das ein Schwellwert für die Amplitude, die Änderung,
das Rauschverhalten usw. sein.
Wie aber werden die unterschiedlichen Fehlerzustände kommuniziert? Im einfachsten Fall wird von einem „failsilent“ System ausgegangen, bei dem für alle Elemente und Ausgabewerte kontinuierlich einer Prüfung auf die
relevanten Fehler vollzogen wird. Mit der Detektion einer Störung werden keine Daten mehr publiziert.
Sämtliche Fehler werden in eine einzige nach außen sichtbare Fehlerart umgewandelt, die komplette
Abschaltung der betroffenen Komponente [1]. In [23] machen die Autoren die Entscheidung über den Übergang
in den „fail-silent“-Zustand neben der Messwertbeurteilung von zwei weiteren Attributen des Knotens abhängig,
die sich aus dessen Einbindung im Netzwerk ergeben. Die bisher versendeten Nachrichten müssen von

mindestens einem als fehlerfrei eingeschätzten Knoten akzeptiert worden sein und alle die Nachricht
empfangenen Knoten haben signalisiert, dass ein einheitlicher Datensatz empfangen wurde. Damit wird die
Entscheidung über den Fehlerzustand nicht mehr nur sensorlokal sondern über das gesamte verteilte System
hinweg bestimmt.
Eine differenziertere Fehlerdarstellung erlaubt zum Beispiel die Systematik von [31] und bildet die oben
genannten Fehlermodelle auf drei Metamodelle ab: „Short“ das eine sprunghafte Änderung des Wertes
signalisiert, „Noise“ mit dem stochastische Fehler abgebildet werden, und „Constant“, in dem zeitabhängiger
Bias berücksichtigt wird. Die Information über das Eintreten eines der Fehlertypen wird der Nachricht beigefügt.
In den Arbeiten von [5, 24, 32] wird das Ergebnis der Fehlerprüfung in eine Validitätseinschätzung überführt
und durch einen einzelnen, kontinuierlichen Wert repräsentiert. Dieser Wert wird jeder Messung beigefügt und
überträgt die Entscheidung über den Umgang mit einem möglicherweise fehlerhaften Wert, entgegen dem failsilent Ansatz, an die nachgeordneten Knoten. Die Bestimmung dieses Validitätswertes, der eine objektive und
mit anderen Knoten vergleichbare Größe darstellt wird unter anderem in [25] in möglichen Ausprägungen
diskutiert. Für eine binäre Entscheidung stellt sich zum Beispiel die Frage nach der Auslegung des Grenzwertes,
ab dem eine Störung angenommen wird [6]. Wird diese auf einem zu geringen Niveau festgesetzt, steigt die Zahl
von unberechtigten Fehlerannahmen, für einen zu hohen Wert besteht die Gefahr nicht erkannter
Fehlersituationen. Entsprechend zielen die Arbeiten von [6] und [8] auf einen adaptiven Grenzwert und bedienen
sich dabei der Prinzipien der Fuzzy Systeme.
2.3 Datenbeschreibung
Neben der Validität muss auch für andere Aspekte eines Datensatzes sichergestellt sein, dass die Informationen
beim Empfänger in ihrem korrekten Kontext eingeordnet und richtig interpretiert werden können. Dies sind auf

einfachster Ebene die physikalische Einheit eines Messwertes sowie der Zeitpunkt und Ort der Messung. Neben
diesen offensichtlichen Angaben sind aber auch komplexere Angaben zum Beispiel über die Messunsicherheit
oder den Überwachungsbereich eines Sensors erforderlich, um überhaupt die Relevanz von dessen Messungen
hinterfragen zu können. In einem statischen Szenario würden derartige Informationen direkt in den
Applikationscode eingewoben werden. Da hier aber von einer dynamischen Interaktion ausgegangen wird, sind
diese Informationen zur Entwicklungszeit nicht bekannt. Voraussetzung für die angestrebte Adaptivität ist also
eine (Selbst-)beschreibung aller auszutauschenden Informationen.
Dafür bestehen verschiedene Ansätze, die in unterschiedlichem Grad Verbreitung gefunden haben. Einfache
textuelle Beschreibungen zur Strukturierung der auszutauschenden Daten, Datentypen und Bezeichnern genügen
zum Beispiel im ROS-Framework [41]. Deutlich differenzierte sind die Festlegungen der IEEE 1451 – Standard
for a Smart Transducer Interface for Sensors and Actuators – [13] zu benennen, die auf die Standardisierung der
Schnittstellen, Protokolle und Messdaten für heterogene Sensor-Aktor-Netze zielt. Ein Element dieses Konzeptes
sind elektronische Datenblätter, die unter anderem die Spezifika des angeschlossenen Sensors berücksichtigen.
In vielen Anwendungen dieser digitalen Beschreibungen werden diese aber nur im Rahmen des
Entwicklungsprozesses genutzt und dienen zum Beispiel zur Konfiguration der Datentypen [33]. Die Ansätze
des IEEE 1451 werden in vielen Arbeiten aufgegriffen [5, 16] und angepasst, letztgenannte benutzt die
Beschreibungen unter anderem als Basis einer Codegenerierung für eingebettete Sensorknoten.
2.4 Datenföderation
Eine korrekte Situationserfassung aufgrund von Sensordaten erfordert immer das Vorhandensein eines Modells.
Erst mithilfe eines Modells, welches Daten und Kontextinformationen miteinander verknüpft, können

sensorische und aktorische Informationen richtig eingeordnet, interpretiert oder validiert werden. Im Bereich der
intelligenten Umgebung und der autonomen Systeme ist vor allem ein korrektes Umgebungsmodell erforderlich,
welches Mess- und Steuersignale auf ein höheres Abstraktionsniveau abbildet. Solche Umgebungsmodelle
ermöglichen Anwendungen, die zum Beispiel das Verhalten autonomer Systeme steuern, einfache Bewegungen

zu koordinieren oder einfache Handlungsabläufe bzw. komplexe Aufgaben zu planen, Situationen richtig zu
bewerten und somit auch Gefahrenpotenziale zu erkennen.
Im einfachsten Fall, wie in den meisten der heutigen Systeme, sei in der Servicerobotik, Prozessautomatisierung
oder selbst im Automotivbereich, ist das Systemmodell schon inhärent im Programmcode enthalten, das heißt,
bereits in der Implementierungsphase muss alle nutzbare Sensorik und Aktuatorik sowie die Dynamik in der
Umgebung, bekannt sein.
Eine höheres Abstraktionsniveau bieten einfache räumliche Umgebungsmodelle, wobei Abstandsmessungen in
eine 2D beziehungsweise 3D-Struktur überführt werden und es einem autonomen System somit erlauben sich in
Indoor- oder Outdoor-Umgebung zu orientieren und Hindernisse zu umgehen (vgl. [9, 34, 36]).
Durch Objekterkennung können zusätzlich geometrische Objekte der Umgebung mit zusätzlichen Attributen
verknüpft werden und erhalten dadurch eine zusätzliche Semantik, wie die Arbeiten von Rusu zeigen (siehe [28,
29]). In [2] wurde ein autonomer Roboter, ausgerüstet mit einem lokalen Kamerasystem und einem lokalen 2DLaserscanner, zur Detektion und dem Verfolgen von Menschen eingesetzt. In [12, 26] werden Objekte der
Umgebung zusätzlich mit physikalischen Eigenschaften innerhalb der Modellrepräsentation versehen, dies
erlaubte zusätzlich Simulationen, die Auskunft über die zukünftige Umgebungssituationen lieferten. Die
Vorwegnahme zukünftiger Situationen wird ebenfalls bei der Trajektorienplanung [42, 43] oder sogar bei der

Kollisionsvermeidung im Automobil [15].
Alle diese Modelle arbeiten mit festen Sensorkonfigurationen. Aber wie könnten zusätzlich externe
Sensorsysteme oder die Sensorik anderer Roboter genutzt werden, um die gleiche Aufgabe zu lösen? Schon das
einfache Hinzufügen einer neuen Sensorkomponente stellt eine Herausforderung dar. Es ist zwar kein Problem
diese neuen Sensordaten innerhalb eines Netzwerkes zu publizieren, oder sie den physikalischen Einheiten nach
richtig einordnen zu können, aber die korrekte Interpretation ist nur durch eine Anpassung des Modells und
damit zumeist auch des eigentlichen Anwendungsprogramms möglich.
In [27] wurde bereits erfolgreich die Nutzung eines geometrischen Umgebungsmodells für autonom agierende
Serviceroboter im Küchenumfeld untersucht. Auch hier wurde von einer lokal und extern fixen
Sensorkonfiguration ausgegangen. Jedoch konnte hier die Hardware abstrahiert werden, indem die Möglichkeit
gegeben war nachträglich die lokale Sensorik im Modell durch verschiedene äquivalente Systeme (mit
unterschiedlicher Auflösung, Messraten, etc.), zu ersetzen und zu testen.
Eine adäquate Situationsbewertung anhand eines Modells kann auch den Datenverkehr in einem Netzwerk
entlasten, da daraufhin eine gezielte Sensordatenakquise erfolgen kann (nicht in jeder Situation ist die
Übermittlung aller Sensordaten notwendig). In [11] konnte gezeigt werden, wie mithilfe einer geeigneten
Situationserkennung im Automobil gezielt Sensordaten angefordert wurden, was zu einer durchschnittlichen
Reduktion des Datenvolumens um 54% führte.
Logik-basierte Architekturen erlauben eine Beschreibung der Umgebungssituation mit den Mitteln der
Aussagenlogik. Sie werden vor allem für das lösen komplexere Aufgaben wie das finden von
Handlungssequenzen, die zum Erreichen eines bestimmten Zieles führen, verwendet und basieren vornehmlich

auf dem Situationskalkül [20]. Beispiele hierfür wären GOLOG (alGOL in LOGic) [19] oder ConGOLOG [7],
das zusätzlich Nebenläufigkeit und den Einfluss externer Ereignisse einschließt. KnowRob [35] ist ein ebenfalls
ein Wissensverarbeitungssystem speziell entwickelt für autonome Roboter, das bereits in ROS integriert ist.

3.

Konzept

Mit der Untersuchung der vergleichbaren Arbeiten wurde deutlich, dass diese dem Konzept der adaptiven und
fehlertoleranten Messdatenaggregation und -Verarbeitung jeweils nur in bestimmten Teilbereichen genügt.
Entsprechend beschreibt dieses Kapitel die Umsetzung des Konzeptes, wobei zum Teil zuvor genannte Ansätze
aufgegriffen und erweitert wurden sowie für deren Verzahnung in einer Gesamtapplikation sichergestellt wurde.
3.1 Datenaustausch
Das Konzept der flexiblen Integration von Sensoren in eine Applikation definiert verschiedene
Herausforderungen. Das erste Problem stellt die in der Regel drahtlose Kommunikation der Daten für die
temporäre Verbindung einander unbekannten Knoten dar. Zu diesem Zweck wurde in der Arbeitsgruppe die
Middleware FAMOUSO entwickelt, die einen Datenaustausch nach dem Publish/Subscribe Paradigma über
verschiedene Medien und Protokolle wie CAN, 802.15.4, RS232, Ethernet umsetzt. Dabei deckt FAMOUSO
neben von PC Architekturen auch 8-Bit-Mikrocontroller ab, sodass hochintegrierte, eingebettete Sensorsysteme
in verteilte Applikationen einbezogen werden können. Um auf der anderen Seite die Möglichkeiten eines

robotikspezifischen Frameworks nutzen und auf bereits existierende Funktionalität aufbauen zu können, wurde
am Lehrstuhl ein Gateway zwischen ROS und FAMOUSO entwickelt. Damit ist der nahtlose Datenaustausch
zwischen hochintegrierten Komponenten und verteilten ROS-Anwendungen für die Messdatenanalyse,
Bewegungsplanung, Umgebungsmodellierung, usw. möglich.

3.2 Datenvalidität
Für die Beschreibung des Vertrauensniveaus eines Datensatzes wird im Rahmen dieser Arbeit der einfache
Validitätswert, wie er im vorangegangenen Abschnitt vergleichbarer Arbeiten erwähnt wurde, auf eine
zweiteilige Bewertung erweitert. Der einfache Validitätswert an sich beschreibt nämlich lediglich die Ausgabe
einer oder mehrerer Fehlerdetektionsmethode(n), eine Unterscheidung hinsichtlich der Anwendung einzelner
oder multipler Fehlererkennungsmechanismen ist nicht möglich. Entsprechend bleibt die Frage unbeantwortet,
auf welche der oft spezifischen Fehlermodelle ein Datensatz den geprüft wurde und wie sehr man der
Validitätsaussage vertrauen kann. Entsprechend wurde im Rahmen des MOSAIC-Frameworks zwischen
statischer und dynamischer Validitätsaussage unterschieden. Während die dynamische Bewertung eine für jeden
Datensatz berechnete Validität umfasst und damit den bereits beschriebenen Ansätzen entspricht, wird mit der
statischen Validität ein Maß für die Güte des produzierenden Knotens bestimmt und eine Gültigkeitsaussage der
dynamischen Einschätzung getroffen [30].
Die statische Validität ergibt sich dabei aus einer systematischen Untersuchung der möglichen Sensorfehler und
der darauf zielenden, in der Verarbeitungskette integrierten Detektionsmethoden. Die Charakterisierung der
Messfehler und ihrer Auswirkung erfolgt über deren relative Amplitude und die Auftretenswahrscheinlichkeit. In
Ergänzung wird die Wirksamkeit der Detektionsmethode mit einer Detektionswahrscheinlichkeit für diesen
Fehlertyp angegeben. Bei der Klassifikation der Fehler lehnt sich unser Ansatz an die Methoden der FMEA an
und ordnet jeder der genannten drei Klassen eine Skale von 1 bis 10 zu [37]. Dafür wurde der Kriterienkatalog,
wie er zum Beispiel für die Automobilindustrie in [39] genormt ist, auf die speziellen Merkmale der Sensorik
angepasst. Letztendlich ergibt sich aber auch hier aus der Multiplikation der Skalenzuordnungen für
geringwertige Messdaten ein statischer Validitätsfaktor von 1000 und für hochperformante Systeme von 1. Mit
der systematischen Herleitung der Sensorsystembewertung anhand eines Kategorisierungskataloges ist die
statische Validitätsaussage zwischen unterschiedlichen Sensoren vergleichbar. Die dynamische Bewertung, stellt
darauf aufbauend den Output der in der statischen Validitätsuntersuchung analysierten Detektionsmethoden dar,
wenn diese auf einen Datensatz angewendet werden. Der dynamische Validitätswert repräsentiert eine
veränderliche, individuelle Bewertung eines jeden Datensatzes.
3.3 Datenbeschreibung
Auf der zweiten Ebene einer dynamischen Informationsverwertung ist die Abstraktion und Beschreibung der
Messdaten durch eine geeignete Programmierabstraktion sicherzustellen. Aufbauend auf FAMOUSO wird diese
Aufgabe durch das MOSAIC-Framework umgesetzt, das XML-basierte Datenblätter der Sensoren und
Messdaten bereitstellt, die neben Maßeinheiten, Zeit- und Rauschverhalten eines Sensors auch dessen
Überwachungsbereich und Datenformat festhalten. Die Beschreibungsdateien lassen sich ausgehend von einem
integrativen, fehlertoleranten Programmiermodell in eine konkrete Implementierung unter C++, Python und
Simulink für Sensorknoten oder Verarbeitungseinheiten überführen, wobei auch hier unterschiedliche
Architekturen bedient werden. In jedem Fall greift der Nutzer in gleicher Weise auf physische Sensoren oder
netzwerkbasierte Informationen zu. Eine Besonderheit dabei ist das umfassende Fehlertoleranzkonzept, das es
erlaubt, jedem Datensatz neben verschiedenen Attributen eine Einschätzung seiner Gültigkeit anzufügen. Dieser
Wert wird mit jedem Verarbeitungsschritt aus den in den Datenblättern enthaltenen Informationen zu möglichen
Fehlern bestimmt. Dieser Gültigkeitswert wird von nachfolgenden Verarbeitungseinheiten als Gewichtung oder
Selektionskriterium benutzt.
3.4 Datenförderation
In einer dritten Ebene werden diese multimodalen Informationen in ein virtuelles Abbild des Roboters, der
Sensorik und seiner Umgebung überführt. Mit diesem in eine Physik-Engine eingebetteten Modell werden
folgende Aufgaben umgesetzt:
1. Selektion – Ausgehend vom Zustand des Systems wird aufgabenbezogen die relevante Sensorik
identifiziert, wobei auch die Validität der Daten Berücksichtigung findet
2. Plausibilitätschecks – Durch Abgleich der realen Sensorik mit dem virtuellen Gegenüber kann ein
zusätzliches Maß an Fehlertoleranz umgesetzt werden
3. Errichtung von Sicherheitszonen – Sicherheitsbereiche können im Modell als virtuelle Hindernisse
einfügt werden, die bei der Bewegungsplanung berücksichtigt werden
4. Kollisionserkennung – Mit dem Wissen um die aktuellen Bewegungsparameter ist eine Vorhersage
von potenziellen Kollisionen und damit eine Beurteilung des Sicherheitszustandes umsetzbar
5. Planung – Durch die Simulation können Bewegungen und komplexe Handlungen in sich dynamisch
verändernden Umgebungen geplant werden
Ausgehend von der Selektion und des Plausibilitätschecks kann eine Validitätsaussage für das Modell erstellt
werden, der die Validitätseinschätzungen der einzelnen Messwerte zusätzlich berücksichtigt.

4.

Beispielszenario
4.1 Aufbau

Um das Zusammenspiel der einzelnen Ebenen zu illustrieren, wurde das in Abbildung 1 dargestellte Szenario
umgesetzt. Ein mobiler Roboter bewegt sich innerhalb einer instrumentierten Umgebung, dabei soll anhand der
verfügbaren Sensoren eine möglichst präzise Positionsschätzung erfolgen. Der Roboter selbst ist lokal mit einer
aus Kompass, Beschleunigungssensor, Gyroskop und Odometrie bestehendem Inertialsystem ausgestattet. Die
Umgebung ist mit Sensorknoten versehen, die über unterschiedliche Prinzipien (Laser, Ultraschall, Infrarot)
partiell die Position des Roboters erfassen. Die Positionen dieser Sensoren können beliebig verändert werden.
GP2Y0A2
Distanzsensor

Laser
Distanzsensor

Gyroskop

Smart-X-Bot

Odometrie

GP2D120
Distanzsensor

Abbildung 1: Demonstrationsszenario mit mobilem Roboter und instrumentierter Umgebung
Auf der Roboterplattform, die von einem 8-Bit-Mikrocontroller gesteuert wird, läuft die Middleware
FAMOUSO, die übrigen Komponenten werden sind als ROS-Applikationen auf verschiedenen PCs ausgeführt.
Für die Erfassung und Digitalisierung der stationären Sensoren wird eine Messdatenerfassungskarte benutzt, die
in der Abbildung 1 im Vordergrund sichtbar ist. Alle Sensorkomponenten sind in einem Datenblatt definiert, das
unter anderem die Parameter der Sensorkeulen umfasst, die in Abbildung 1 mit den Mitteln der Erweiterten
Realität dargestellt werden, aber auch die darüber hinausgehenden, oben genannten sensoreigenen
Charakteristika.

Abbildung
Links:
Darstellung
Umgebungsmodells,
externer Sensorik
und mobilem
Roboter; dos
Die
Aufgabe1 des
Roboters
besteht des
in der
Umsetzung der übermit
FAMOUSO
übermittelten
Bewegungskomman
Mit Umgebungsmodell
Kamerabild;
farbige
Sensorkeulen
markieren
unter BeacRechts:
htung möglicher
Hindernisse undüberlagertes
der Bestimmung
der aktuellen
Position.
Hindernisse
können sowohl
relevante Sensormessungen (grün: Ultraschallsensor, rot: Infrarot-Sensor)

als reale Objekte oder aber im Modell als Sicherheitsbereiche virtuell vorliegen. Für die Anwendung ist es dabei
unerheblich, ob der Ursprung einer Messung real oder virtuell ist.
Die beiden Screenshots in Abbildung 2 zeigen die Modellrepräsentation auf verschiedene Weise. In der linken
Grafik wird eine rein virtuelle Darstellung des Roboters und der externen Sensorik mit realen Messwerten
gezeigt. In der rechten Abbildung wird das Modell mit einem Kamerabild der Demonstrationsszenarios
überlagert und damit eine visuelle Validierung ermöglicht. Gleichzeitig dient die kamerabasierte Lokalisation als
Referenz für die Güte der adaptiven Positionsschätzung. Für die Umsetzung des Trackings wurde das bereits in
ROS integrierte AR-Toolkit verwendet, das anhand des auf Abbildung 1 sichtbaren Markers die Position und
Orientierung des Roboters bestimmt. Dieser ist entsprechend in Abbildung 2 unter seinem virtuellen Pendent zu
erkennen.
Die farbliche Darstellung der Sensorik markiert das Ergebnis der modellbasierten Selektion, wobei graue
Keulendarstellungen nicht in die Positionsbestimmung einbezogene Sensoren identifizieren. Die in der aktuellen
Konfiguration dargestellten relevanten Sensoren sind der rot hervorgehobene Infrarot-Sensor (Sharp GP2Y0A2)
und der grün hinterlegte Ultraschall-Sensor (Devantech SFR10). Analog zur schwankenden Anzahl der externen
Sensoren, die in die Positionsbestimmung einbezogen werden verändert sich auch die Zahl der roboterlokal
verfügbaren Sensoren. So kann beispielsweise das Gyroskop Drehraten nur bis zu einem bestimmten
Maximalwert erfassen, der bei schnellen Drehungen des Roboters deutlich überschritten wird. Entsprechend
werden den Messwerten dieses Sensors in dieser Situation geringe Validitätswerte zugeordnet, sodass diese von
der weiteren Verarbeitung ausgeschlossen werden.
Für die Lokalisation wurde ein zweistufiger Kalman Filter verwendet, der auf der ersten Ebene die multimodalen
Inertialmesswerte auf eine Positionsschätzung abbildet, um dann im zweiten Schritt die externen
Sensormessungen zu integrieren. Wegen der variablen Zahl der verfügbaren Messdaten ist es notwendig den
Filter permanent zu adaptieren, dabei werden die Messmatrix und die Kovarianzmatrix des Rauschens neu
komponiert.
4.2 Ergebnisse
Abbildung 3 zeigt die Aufzeichnung der Position während eines Laufes entlang der Außenbegrenzung des
Demoaufbaus. Die Breite der Linie illustriert die an den durchfahrenen Positionen für die
Lokalisationsbestimmung genutzten internen (rot) und externen (blau) Sensoren. In diesem Experiment wurden
vonseiten der internen Sensoren lediglich die Odometrie und das Gyroskop benutzt. Die permanent zur
Verfügung stehenden Odometriedaten sind durch die dünne rote Linie sichtbar. Das Gyroskop ist wie zuvor
angesprochen infolge von Sättigungseffekten nur für geringe Drehraten verwendbar, in den Kurvenbereichen
und bei stochastischen Richtungsänderungen werden deren Messdaten verworfen. Der rote Linienzug zeigt dies
mit dem Wechsel von schmalen und breiteren Bereichen. Die variable Integration der externen Sensorik wird
insbesondere in der rechten unteren Ecke deutlich. Hier stehen, wie in Abbildung 3 zu sehen, vier Sensoren als
externe Referenz zur Verfügung, sodass in diesem Bereich die maximal verfügbare Zahl von Sensoren (zwei
interne + zwei externe) erreicht wird.

Abbildung 2 Darstellung der positionsabhängigen Sensoren (rot: interne Sensorik, blau: externe Sensorik)

5.

Zusammenfassung und Ausblick

Das Beispielszenario illustriert den Einsatz einer mobilen Plattform, die mit Sensorgrundausstattung versehen
Messdaten aus der intelligenten Umgebung nutzt, um damit die eigene Positionsschätzung zu verbessern. Damit
zielt der hier verfolgte Ansatz auf Multi-Roboter-Szenarien, in denen zugunsten der Nutzung einer externen
Sensorik auf teure individuelle Sensorsysteme verzichtet wird. Dabei wird die Zuordnung der externen Sensorik
dynamisch umgesetzt, um der veränderlichen räumlichen Relevanz und der variablen Validität zu genügen.
Damit wird eine maximale Güte der individuellen Zustandsschätzung bei gleichzeitiger Fehlertoleranz erreicht.
Die vorliegende Arbeit stellt eine Anforderungsliste für eine solche adaptive Fusion vor und entwickelt
ausgehend von dieser Analyse ein Konzept, dessen Umsetzung und Resultate in einem Evaluationsszenario
untersucht wurden.
Zukünftig soll das Konzept des verwendeten Umgebungsmodells auch für andere Szenarien in realistischen
Umgebungen umgesetzt und erweitert werden. Einerseits sollen Schnittstellen definiert werden, die komplexere
Anfragen an das Modell erlauben, die über einfache Positions- und Orientierungsangaben bezüglich der Sensorik
hinausgehen. Mithilfe von Simulationen könnten zukünftige Messungen vorausberechnet werden. Zusätzlich
sollen mithilfe des Modells auch die lokalen Sensorsysteme anderer mobiler Robotersysteme Verwendung
finden, einerseits kann damit die eigene Position besser geschätzt werden, andererseits kann die Sicht oder das
Wissen um die Umgebung auch anderer Systemen zur Verfügung gestellt werden.

Literaturverzeichnis
[1]
[2]
[3]
[4]
[5]

[6]
[7]

[8]
[9]
[10]
[11]

[12]

[13]
[14]
[15]

[16]

[17]
[18]

[19]
[20]
[21]
[22]
[23]
[24]
[25]
[26]

A. Avizienis, J.C. Laprie, and B. Randell. Fundamental concepts of dependability. Technical report,
University of Newcastle upon Tyne, 2001.
N. Bellotto and H. Hu. Multisensor-based human detection and tracking for mobile service robots.
Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on, 39(1):167–181, 2009.
H. Bentez Pérez, J.L. Ortega Arjona, and G. Reza Latif Shabgahi. Definition and empirical evaluation
of voters for redundant smart sensor systems. Computación y Sistemas, 11:39 – 60, 9 2007.
M. Blanke, M. Kinnaert, J. Schröder, J. Lunze, and M. Staroswiecki. Diagnosis and fault-tolerant
control. Springer, Heidelberg, 2003.
Wilfried Elmenreich, Stefan Pitzek, and Martin Schlager. Modeling Distributed Embedded Applications
on an Interface File System. In Proceedings of the Seventh IEEE International Symposium on ObjectOriented Real-Time Distributed Computing (ISORC’04), pages 175–182, Vienna, Austria, 2004.
P.M. Frank. Advances in observer-based fault diagnosis. In International Conference on Fault
Diagnosis (TOOLDIAG), Toulouse, France, 1993.
Giuseppe De Giacomo, Yves Lespérance, and Hector J. Levesque. Reasoning about concurrent
execution, prioritized interrupts, and exogenous actions in the situation calculus. In 15th International
Joint Conference on Artificial Intelligence (IJCAI-97), pages 1221–1226, San Francisco, 8 1997.
Morgan Kaufmann Publishers.
K.F. Goebel and A.M. Agogino. Fuzzy belief nets. International Journal of Uncertainty Fuzziness and
Knowledge based Systems, 8(4):453–470, 2000.
D. Hähnel, W. Burgard, and S. Thrun. Learning compact 3d models of indoor and outdoor
environments with a mobile robot. Robotics and Autonomous Systems, 44(1):15–27, 2003.
B. Hardekopf, K. Kwiat, and S. Upadhyaya. Secure and fault-tolerant voting in distributed systems. In
Proceedings of IEEE Aerospace Conference, volume 3, 2001.
A. Hermann. Fahrsituationsspezifische datenverteilung im verteilten umgebungsmodell für
fahrzeugsoftware. Lecture Notes in Informatics. GI-Jahrestagung, Bremen: Gesellschaft für Informatik,
pages 541–545, 2007.
K. Hsiao, N. Mavridis, and D. Roy. Coupling perception and simulation: Steps towards conversational
robotics. In Intelligent Robots and Systems, 2003.(IROS 2003). Proceedings. 2003 IEEE/RSJ
International Conference on, volume 1, pages 928–933. IEEE, 2003.
IEEE Standards Association. IEEE Standard for a Smart Transducer Interface for Sensors and
Actuators (IEEE 1451.2), 1997.
R. Isermann. Model-based fault-detection and diagnosis–status and applications. Annual Reviews in
control, 29(1):71–85, 2005.
N. Kaempchen, B. Schiele, and K. Dietmayer. Situation assessment of an autonomous emergency brake
for arbitrary vehicle-to-vehicle collision scenarios. Intelligent Transportation Systems, IEEE
Transactions on, 10(4):678–687, 2009.
Jörg Kaiser, Sebastian Zug, Michael Schulze, and Hubert Piontek. Exploiting self-descriptions for
checking interoperations between embedded components. In International Workshop on Dependable
Network Computing and Mobile Systems (DNCMS 08), pages 41–45, Napoli, Italy, 10 2008.
F. Koushanfar, M. Potkonjak, and A. Sangiovanni-Vincentelli. On-line fault detection of sensor
measurements. In Proceedings of IEEE Sensors, volume 2, pages 974–979, 2003.
A. Lampe and R. Chatila. Performance measure for the evaluation of mobile robot autonomy. In
Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conference on,
pages 4057–4062. IEEE.
H.J. Levesque, R. Reiter, Y. Lespérance, F. Lin, and R.B. Scherl. GOLOG: A logic programming
language for dynamic domains. The Journal of Logic Programming, 31(1-3):59–83, 1997.
John McCarthy. Situations, actions, and causal laws. Technical report, Stanford University Artificial
Intelligence Project, Stanford, California, 1963.
R. Monson-Haefel and D.A. Chappell. Java message service. O’Reilly Media, 2001.
G. Pardo-Castellote. Omg data-distribution service: Architectural overview. In Distributed Computing
Systems Workshops, 2003. Proceedings. 23rd International Conference on, pages 200–206. IEEE, 2003.
L. Pike, J. Maddalon, P. Miner, and A. Geser. Abstractions for fault-tolerant distributed system
verification. Theorem Proving in Higher Order Logics, pages 185–193, 2004.
H. Piontek and Jörg Kaiser. Self-describing devices in cosmic. 2004.
Galina L. Rogova and Vincent Nimier. Reliability in information fusion: literature survey. In In
Proceedings fo the 7th international Conference on Information Fusion, pages 1158–1165, 2004.
D. Roy, K.Y. Hsiao, and N. Mavridis. Mental imagery for a conversational robot. Systems, Man, and
Cybernetics, Part B: Cybernetics, IEEE Transactions on, 34(3):1374–1383, 2004.

[27]
[28]
[29]

[30]

[31]

[32]

[33]
[34]

[35]

[36]

[37]
[38]

[39]
[40]
[41]
[42]

[43]

View publication stats

R.B. Rusu, B. Gerkey, and M. Beetz. Robots in the kitchen: Exploiting ubiquitous sensing and
actuation. Robotics and Autonomous Systems, 56(10):844–856, 2008.
R.B. Rusu, Z.C. Marton, N. Blodow, M. Dolha, and M. Beetz. Towards 3d point cloud based object
maps for household environments. Robotics and Autonomous Systems, 56(11):927–941, 2008.
R.B. Rusu, Z.C. Marton, N. Blodow, A. Holzbach, and M. Beetz. Model-based and learned semantic
object labeling in 3d point cloud maps of kitchen environments. In Intelligent Robots and Systems,
2009. IROS 2009. IEEE/RSJ International Conference on, pages 3601–3608. IEEE, 2009.
Jörg Kaiser Sebastian Zug, André Dietrich. Fault-handling in networked sensor systems. In Gerasimos
Rigatos, editor, Fault Diagnosis in Robotic and Industrial Systems. Concept Press Ltd., St. Franklin,
AUS, 2011. submitted.
A. Sharma, L. Golubchik, and R. Govindan. On the prevalence of sensor faults in real-world
deployments. In Sensor, Mesh and Ad Hoc Communications and Networks, 2007. SECON’07. 4th
Annual IEEE Communications Society Conference on, pages 213–222. IEEE, 2007.
S.R. Sukumar, H. Bozdogan, D.L. Page, A.F. Koschan, and M.A. Abidi. Sensor selection using
information complexity for multi-sensor mobile robot localization. In Robotics and Automation, 2007
IEEE International Conference on, pages 4158–4163. IEEE.
S. Sumathi and P. Surekha. LabVIEW based advanced instrumentation systems. Springer Verlag, 2007.
H. Surmann, A. Nüchter, and J. Hertzberg. An autonomous mobile robot with a 3d laser range finder for
3d exploration and digitalization of indoor environments. Robotics and Autonomous Systems, 45(34):181–198, 2003.
M. Tenorth and M. Beetz. Knowrob—knowledge processing for autonomous personal robots. In
Intelligent Robots and Systems, 2009. IROS 2009. IEEE/RSJ International Conference on, pages 4261–
4266. IEEE, 2009.
S. Thrun, W. Burgard, and D. Fox. A real-time algorithm for mobile robot mapping with applications to
multi-robot and 3d mapping. In Robotics and Automation, 2000. Proceedings. ICRA’00. IEEE
International Conference on, volume 1, pages 321–328. IEEE, 2000.
Thorsten Tietjen and Dieter H. Müller. FMEA-Praxis. Hanser Verlag, August 2003.
M. van der Meulen. On the use of smart sensors, common cause failure and the need for diversity. In
6th International Symposium of Programmable Electronic Systems in Safety Related Applications,
Cologne, Germany, 5 2004.
Verband der Automobilindustrie e.V. Qualitäsmanagement in der Automobilindustrie - Sicherung der
Qualität vor Serieneinsatz. 1996.
S. Vinoski. Corba: Integrating diverse applications within distributed heterogeneous environments.
Communications Magazine, IEEE, 35(2):46–55, 1997.
WillowGarage. ROS project website. http://www.ros.org. [(online), as at: 25.02.2010].
E. Yoshida, C. Esteves, I. Belousov, J.P. Laumond, T. Sakaguchi, and K. Yokoi. Planning 3-d collisionfree dynamic robotic motion through iterative reshaping. Robotics, IEEE Transactions on, 24(5):1186–
1198, 2008.
H. Yu, R. Beard, and J. Byrne. Vision-based navigation frame mapping and planning for collision
avoidance for miniature air vehicles. Control Engineering Practice, 18(7):824–836, 2010.