392142 Multimodale Interaktion mit einem mobilen Roboter (Pj) (WiSe 2002/2003)

In diesem Projekt sollen einerseits signalnahe Algorithmen zur Wahrnehmung des Benutzers und der Umgebung realisiert werden. Andererseits ist vorgesehen, bereits vorhandene und in dem Projekt entwickelte Algorithmen zu integrieren, um eine verbesserte Interaktionsfähigkeit des Roboters zu erreichen.

Geplant ist beispielsweise die Entwicklung eines Moduls, welches mit Bildverarbeitungsmethoden die Farbe des Pullovers eines Menschen lernt und wiedererkennt. Damit ist es dem Roboter möglich die Position des Menschen zu bestimmen. Die Position kann als zusätzliche Informationsquelle in ein bestehendes Personenverfolgungsystem integriert werden, dessen Bildverarbeitung bislang nur die Extraktion von Gesichtern aus Bilddaten vorsieht. Damit kann bei Fehlen der Gesichtsdaten (z.B. weil sich die Person weggedreht hat) die Person trotzdem verfolgt werden.

In dem Projekt bieten sich unter anderem folgende Themen an:

• Anwendung eines Gestenerkennungssystems zur Steuerung des Roboters über Zeigegesten (z.B. drehe links, drehe rechts, stopp).
• Erweiterung des vorhandenen Gesicht-Trackers zur Identifikation der beobachteten Person.
• Aufzeichnung des von einer Person zurückgelegten Pfades. Diese Daten sollen vom Roboter benutzt werden, um später autonom den exakten Pfad zu abzufahren.
• Segmentierung der Pulloverfarbe (siehe oben).
• Durch die Verwendung mehrerer Mikrophone in bekannter räumlicher Anordnung und die Auswertung der Laufzeitdifferenzen akustischer Signale kann die räumliche Position der Person, die den Roboter per Sprache instruiert, näherungsweise bestimmt werden.

Requirements for participation, required level

Das Projekt richtet sich an Studierende im NWI-Hauptstudium, die ihre Kenntnisse in diesen Bereichen vertiefen möchten und aktiv an praktischen Umsetzungen mitarbeiten wollen, bzw. einen Einstieg in eine Diplomarbeit in diesen Themenstellungen suchen.

Für die Programmentwicklung wird C/C++ eingesetzt, so dass Teilnehmer entweder Kenntnisse oder die Bereitschaft zur Einarbeitung in C/C++ mitbringen sollten.

Bibliography

Nähere Infomationen zum mobilen Roboter sind auf den AG-Webseiten vorhanden.
http://www.techfak.uni-bielefeld.de/ags/ai/projects/mobile/index.html

External comments page

http://www.TechFak.Uni-Bielefeld.DE/ags/ai/lectures/W02.html#392142