392122 Projekt "Mobile Blickbasierte Interaktion" (Pj) (SoSe 2013)

Die mobile blickbasierte Interaktion möchte einen Traum erfüllen: endlich soll der Computer befähigt werden, dem Nutzer die Wünsche von den Augen abzulesen.

Um solch eine Vision Realität werden zu lassen, muss das System jedoch wesentliche Herausforderungen meistern:
1. Erkennung der Augenbewegungen
2. Erfassung und Repräsentation der Interaktionsumgebung
3. Interpretation der Augenbewegungen in Bezug auf die Interaktionsumgebung
4. Interaktion mit dem Nutzer

Im Rahmen des Projektes wollen wir solche blickbasierten Interaktionen realisieren. Dabei gibt es verschiedene Schwerpunkt-Alternativen, die von unterschiedlichen Teams bearbeitet werden können:
A. Verwendung eines mobilen Eyetrackers (gegeben) und Fokussierung auf 2+3: Erfassung und Repräsentation der Interaktionsumgebung, sowie Interpretation der Augenbewegungen. Das kann z.B. zur Analyse von Nutzerstudien im Supermarkt oder in der Roboterinteraktion verwendet werden.
B. Verwendung eines mobilen Eyetrackers (gegeben) und Erarbeitung der Punkte 2-4, d.h. Analyse der Umgebung mit CV-Verfahren, Interpretation der Augenbewegungen, Interaktion mit dem Nutzer
Beispiel: blickbasierte Lesehilfe oder Übersetzunghilfe: Das System detektiert, wenn der Nutzer auf Teste schaut und kann diese dann entweder vorlesen oder übersetzen
C. Schwerpunkt auf der Entwicklung von Eyetracking-Verfahren für Android-Geräte (1-3), wobei 2-3 bei der Interaktion mit GUI-Anwendungen einfach gehalten werden kann. So könnte man z.B. das für das Samsung Galaxy S4 versprochene blickbasierte Scrollen realisieren.

Weitere Infos zu A/B:
Im Bereich der Erweiterten Realität/Augmented Reality wird schon heute auf Methoden der Bildverarbeitung zurückgegriffen, um in Echtzeit eine Lokalisierung der Person und eine exakte Verortung im 3D-Raum zu ermöglichen. Nur so können dann 3D Modelle der Realität überlagert und einfache Interaktionen realisiert werden. Die Erfassung muss dabei derzeit noch ungerichtet auf dem gesamten Szenenbild geschehen, welches durch eine kleine kopfgetragene Kamera erfasst wird.

Technische Fortschritte der mobilen Blickbewegungserfassung schaffen ganz neue Möglichkeiten für die mobile Interaktion und die Analyse von natürlichem Verhalten im Alltag außerhalb der Labore. Zum einen liefern die Systeme die genauen Punkte im Szenenbild, die vom Nutzer angeschaut wurden. Mit diesem Wissen könnte die Objektverfolgung auf den aktuellen Fokus des Nutzers konzentriert und damit performanter durchgeführt werden. Zum anderen besteht das Potential, die Blickinformationen auch zur Interaktion zu nutzen. So könnte die aktuelle Aktion des Nutzers (Orientieren, Lesen, Suchen) erkannt und für die Interaktion verfügbar gemacht werden. Darüber hinaus kann durch die Verknüpfung mit der Objektverfolgung ein direkter Bezug zum aktuellen Kontext der kognitiven Verarbeitung des Nutzers hergestellt werden.

Ziel dieses Projektes ist es, Verfahren der Objektverfolgung und Lokalisation für die Anwendung im Bereich der mobilen Blickbewegungsmessung zu kombinieren und weiter zu entwickeln.
In Variante A liegt der Fokus auf der genauen Lokalisation und Verfolgung von generischen Objekten. Dabei kann auf bereits aufgezeichnete Videos und Blickbewegungsdaten in der Entwicklungsphase zurückgegriffen werden.
In Variante B liegt der Fokus auf der echtzeitfähigen Interaktion, d.h. Lokalisation und Verfolgung müssen schnell ablaufen und daher wird gegebenenfalls auf spezielle Marker oder eine kleine Auswahl an Objekten, die leichter zu detektieren sind, zurückgegriffen.
Ein nahtloser Übergang von Variante A in Variante B ist je nach Fortschritt möglich.

Allgemein:
Im ersten Teil des Projektes werden wir in Seminarform die folgenden Themen näher betrachten:

• Einführung in die Blickbewegungsmessung (Eyetracking)
• Vorstellung der Eyetracking Systeme und der vorhandenen Experimental- und Analysesoftware
• Verfahren für Objektverfolgung und Lokalisation
• Ansätze zur automatischen Annotation im Eyetracking Bereich
• Beispiele für blickbasierte Interaktionen

Das restliche Semester ist für eigenständige Arbeit vorgesehen. Großer Wert wird dabei auf Projektmanagement und Dokumentation gelegt.

Es ist geplant, mit Veranstaltungen und Abschlussarbeiten an das Projekt anzudocken. Eine besondere Motivation dazu könnte der SAGA-Wettbewerb sein, der im April ausgeschrieben wird. Im Rahmen dieses Wettbewerbs werden den Teilnehmern Daten (Videos+Blickbewegungsdaten) zur Verfügung gestellt. Die Teilnehmer können dann Beiträge in Form von Software-Lösungen zur automatischen oder teilautomatischen Objektverfolgung und Auswertung der Blickbewegungen einreichen. Abgabe der Beiträge wird im September/Oktober 2013 und die Präsentation dann im Oktober 2013 sein. Es wird angestrebt, dass wir aus dem Projekt heraus wenigstens eine Einreichung bei diesem Wettbewerb versuchen. Die Einreichung (Paper + Software) stellt dann gleichzeitig die unbenotete Leistung des Projektes dar.

Literaturangaben

[1] Edinburgh Dynamic Image Eye Movement database-- EDI-EM

[2] Duchowski, A.T. (2003). Eye Tracking Methodology: Theory and Practice. London:Springer.

[3] Joos, M., Rötting, M. & Velichkovsky, B.M. (2003). Die Bewegungen des menschlichen Auges: Fakten, Methoden, innovative Anwendungen. In G. Rickheit, T. Herrmann & W. Deutsch (Hrsg.), Psycholinguistik/ Psycholinguistics. Ein internationales Handbuch/ An International Handbook (pp. 142-168). Berlin & NY: de Gruyter.