Module 39-M-Inf-MBP Multimodal Behavior Processing

Die Studierenden kennen die wesentlichen Modalitäten menschlichen Verhaltens. Basierend auf physiologischen und psychologischen Grundlagen verstehen die Studierenden die Interpretationsmöglichkeiten der verschiedenen Verhaltenssignale. Die Studierenden sind in der Lage vielfältige computationale Ansätze zur Verhaltensanalyse zu beschreiben, zu erklären und einzusetzen. Verschiedene Methoden der Ton-, Bild- und Videoverarbeitung sowie des Maschinellen Lernens können die Studierenden auf konkrete Fälle der Verhaltensanalyse anwenden. Die Studierenden verstehen den Nutzen von multimodaler Fusionierung und Integration und sind in der Lage verschiedene Fusionierungsschemata zu erklären. Die gelernten Methoden können sie auf konkrete Anwendungsfälle übertragen, Potentiale erläutern sowie mögliche Grenzen und Risiken benennen.

The students know the relevant modalities of human behavior. Based on physiological and psychological principles, the students understand possible interpretations of various behavioral signals. Students are able to describe, explain and use diverse computational approaches for behavior analysis. Students will be able to apply various methods of sound, image and video processing as well as machine learning to specific cases of behavior analysis. Students understand the benefits of multimodal fusion and integration and are able to explain different fusion schemes. They are able to transfer the methods they have learned to concrete use cases, explain potentials and name possible limitations and risks.

Die Veranstaltung widmet sich der multimodalen Analyse von menschlichem Verhalten. Im Fokus steht die Interpretation von sozialem Verhalten und Emotionsausdruck, aufgrund ihrer hohen Relevanz für Mensch-Computer-Interaktionen.
Im ersten Teil der Veranstaltung werden verschiedene Modalitäten des Verhaltens- und Affektausdrucks vorgestellt (z.B. Bewegungen, Gesichtsausdruck, Stimme, physiologische Reaktionen) und hinsichtlich ihrer
Bedeutung und Interpretation besprochen. Im Rahmen verschiedener Methoden der Ton- und Videoanalyse werden unterschiedliche Ansätze präsentiert, um diese Signale computational auszuwerten und zu interpretieren.
Im zweiten Teil der Veranstaltung geht es vor allem um Aspekte der Multimodalität von Verhaltenssignalen. Neben der Verarbeitung von multimodalen Signalen steht die Fusionierung multimodaler Signale im Vordergrund. Anhand verschiedener Anwendungsfälle von multimodaler Verhaltensanalyse werden das Potential aber auch die Grenzen und Risiken der multimodalen Verhaltensanalyse erläutert.

The lecture and seminar are dedicated to the multimodal analysis of human behavior. The focus is on interpretation of social behavior and emotion expression, due to their high relevance for human-computer interactions.
In the first part of the course, different modalities of behavioral and affective expression will be presented (e.g., movements, facial expressions, voice, physiological responses) and discussed with respect to their meaning and interpretation. In the context of different methods of sound and video analysis, different approaches are presented to computationally evaluate and interpret these signals.
The second part of the course will focus on aspects of multimodality of behavioral signals. Besides the processing of multimodal signals, one important topic will be the fusion of multimodal signals. On the basis of different use cases of multimodal behavior analysis, the potential but also the limits and risks of multimodal behavior analysis will be explained.

Kompetenzen, wie sie beispielsweise im Modul 39-Inf-NN Grundlagen Neuronaler Netze, im Modul 39-Inf-13 Grundlagen künstlicher Kognition oder im Modul 39-Inf-ML erworben werden können.

Knowledge as in module 39-Inf-NN, module 39-Inf-13, or in module 39-Inf-ML.

—