392135 Multimodal User Interfaces (S) (SoSe 2013)

Dialoge zwischen Menschen sind geprägt von der Verwendung unterschiedlicher Modalitäten, beispielsweise sprachbegleitender Gesten, bedeutungstragender Blickwechsel und gleichzeitigem Ausdruck von Emotionen über das Gesicht und die Stimme.
Die Interaktion zwischen Mensch und Maschine war hingegen über lange Zeit geprägt von "klassischen Eingabegeräten" wie Maus und Tastatur und einer rein visuellen Ausgabe von Text und Bildern. Zunehmend haben Sprachein- und ausgabe und berührungsempfindliche Eingabefelder diese in der Grundlagenforschung und in der Anwendung ergänzt. Im Bereich der Klassifikation des Nutzerverhaltens aus Kamerabildern oder akustischen Features wurden ebenfalls Fortschritte gemacht.

In diesem Seminar betrachten wir aktuelle Arbeiten zu diesem Themenkomplex, sowohl aus technischer wie auch kognitiver und empirischer Perspektive. Es soll daher einleitend betrachtet werden, wie Menschen verschiedene Modalitäten gemeinsam artikulieren bzw. im Zusammenhang verstehen. Im Hinblick auf Mensch-Maschinen-Interaktion werden die technischen Fortschritte bei einzelnen Eingabemodalitäten erarbeitet, dann aber insbesondere auf deren Integration ("multimodale Fusion") Augenmerk gelegt. Auch auf der Ausgabeseite werden einzelne Kanäle und ihre Integration betrachtet. Ein besonderer Fall von Benutzerschnittstellen, verkörperte konversationale Agenten, die mittels Sprache, Geste und Gesicht interagieren, sollen ebenfalls erarbeitet werden.

Bibliography

Als einleitende Überblicksliteratur empfehlen sich beispielsweise:

Dumas, Lalanne & Oviatt (2009): "Multimodal Interfaces: A Survey of Principles, Models and Frameworks"

Jaimes & Sebe (2007): "Multimodal human-computer interaction: A survey"