Modul 39-M-Inf-MBP Multimodal Behavior Processing

Fakultät

Modulverantwortliche*r

Turnus (Beginn)

Jedes Semester

Leistungspunkte und Dauer

5 Leistungspunkte

Die Angaben zur Moduldauer finden Sie bei den Studiengängen, in denen das Modul verwendet wird.

Kompetenzen

Die Studierenden kennen die wesentlichen Modalitäten menschlichen Verhaltens. Basierend auf physiologischen und psychologischen Grundlagen verstehen die Studierenden die Interpretationsmöglichkeiten der verschiedenen Verhaltenssignale. Die Studierenden sind in der Lage vielfältige computationale Ansätze zur Verhaltensanalyse zu beschreiben, zu erklären und einzusetzen. Verschiedene Methoden der Ton-, Bild- und Videoverarbeitung sowie des Maschinellen Lernens können die Studierenden auf konkrete Fälle der Verhaltensanalyse anwenden. Die Studierenden verstehen den Nutzen von multimodaler Fusionierung und Integration und sind in der Lage verschiedene Fusionierungsschemata zu erklären. Die gelernten Methoden können sie auf konkrete Anwendungsfälle übertragen, Potentiale erläutern sowie mögliche Grenzen und Risiken benennen.

The students know the relevant modalities of human behavior. Based on physiological and psychological principles, the students understand possible interpretations of various behavioral signals. Students are able to describe, explain and use diverse computational approaches for behavior analysis. Students will be able to apply various methods of sound, image and video processing as well as machine learning to specific cases of behavior analysis. Students understand the benefits of multimodal fusion and integration and are able to explain different fusion schemes. They are able to transfer the methods they have learned to concrete use cases, explain potentials and name possible limitations and risks.

Lehrinhalte

Die Veranstaltung widmet sich der multimodalen Analyse von menschlichem Verhalten. Im Fokus steht die Interpretation von sozialem Verhalten und Emotionsausdruck, aufgrund ihrer hohen Relevanz für Mensch-Computer-Interaktionen.
Im ersten Teil der Veranstaltung werden verschiedene Modalitäten des Verhaltens- und Affektausdrucks vorgestellt (z.B. Bewegungen, Gesichtsausdruck, Stimme, physiologische Reaktionen) und hinsichtlich ihrer
Bedeutung und Interpretation besprochen. Im Rahmen verschiedener Methoden der Ton- und Videoanalyse werden unterschiedliche Ansätze präsentiert, um diese Signale computational auszuwerten und zu interpretieren.
Im zweiten Teil der Veranstaltung geht es vor allem um Aspekte der Multimodalität von Verhaltenssignalen. Neben der Verarbeitung von multimodalen Signalen steht die Fusionierung multimodaler Signale im Vordergrund. Anhand verschiedener Anwendungsfälle von multimodaler Verhaltensanalyse werden das Potential aber auch die Grenzen und Risiken der multimodalen Verhaltensanalyse erläutert.

The lecture and seminar are dedicated to the multimodal analysis of human behavior. The focus is on interpretation of social behavior and emotion expression, due to their high relevance for human-computer interactions.
In the first part of the course, different modalities of behavioral and affective expression will be presented (e.g., movements, facial expressions, voice, physiological responses) and discussed with respect to their meaning and interpretation. In the context of different methods of sound and video analysis, different approaches are presented to computationally evaluate and interpret these signals.
The second part of the course will focus on aspects of multimodality of behavioral signals. Besides the processing of multimodal signals, one important topic will be the fusion of multimodal signals. On the basis of different use cases of multimodal behavior analysis, the potential but also the limits and risks of multimodal behavior analysis will be explained.

Empfohlene Vorkenntnisse

Kompetenzen, wie sie beispielsweise im Modul 39-Inf-NN Grundlagen Neuronaler Netze, im Modul 39-Inf-13 Grundlagen künstlicher Kognition oder im Modul 39-Inf-ML erworben werden können.

Knowledge as in module 39-Inf-NN, module 39-Inf-13, or in module 39-Inf-ML.

Notwendige Voraussetzungen

Erläuterung zu den Modulelementen

Die Modul(teil)prüfung kann in einigen Studiengängen nach Wahl der Studierenden auch "unbenotet" erbracht werden. Vor Erbringung ist eine entsprechende Festlegung vorzunehmen, eine nachträgliche Änderung (benotet - unbenotet) ist ausgeschlossen. Wird diese Option gewählt, ist es nicht möglich, dieses Modul zu verwenden, um es in einen Studiengang einzubringen, in dem dieses Modul bei der Gesamtnotenberechnung berücksichtigt wird.

The (partial) examination of the module can be performed as "ungraded" in some study programs at the students choice. Before the examination a respective determination must be carried out, a later modification (graded - ungraded) is impossible. If the "ungraded" option is chosen, it is not possible to include this module in a study program where this module is deemed to enter the calculation of the overall grade.

Modulstruktur: 0-1 bPr, 0-1 uPr 1

Veranstaltungen

Multimodal Behavior Processing
Art Vorlesung
Turnus SoSe
Workload5 60h (30 + 30)
Übungen zu Multimodal Behavior Processing
Art Übung
Turnus SoSe
Workload5 30h (15 + 15)
LP 1

Prüfungen

Multimodal Behavior Processing (Vorlesung)
Art Portfolio mit Abschlussprüfung
Gewichtung unbenotet
Workload 60h
LP2 2

Portfolio aus Übungsaufgaben, die veranstaltungsbegleitend und in der Regel wöchentlich gestellt werden, und Abschlussklausur (in der Regel 60 min) oder mündlicher Abschlussprüfung (in der Regel 15 min). Die Übungsaufgaben ergänzen und vertiefen den Inhalt der Vorlesung. Nachweis einer ausreichenden Zahl korrekt gelöster Übungsaufgaben (in der Regel 50% der im Semester für das Lösen der Aufgaben erzielbaren Punkte).

Portfolio of homework assignments accompanying the lecture, usually given weekly, and final written exam (60 min) or oral exam (15 min). The assignments complement and deepen the content of the lecture.
Proof of a sufficient amount of correctly solved assignments (usually 50% of the maximum total score in the semester). The final exam covers the content of the lecture and the assignments.

Multimodal Behavior Processing (Vorlesung)
Art Portfolio mit Abschlussprüfung
Gewichtung 1
Workload 60h
LP2 2

s. Erläuterung zur unbenoteten Prüfung

Weitere Hinweise

Das Modul kann in folgenden Wahlpflichtbereichen anerkannt werden:
- WP "Vertiefung Informatik" in Naturwissenschaftliche Informatik (M. Sc.)
- WP "Vertiefung Intelligente Systeme" in Intelligente Systems (M. Sc.)

In diesen Studiengängen wird das Modul verwendet:

Studiengang Profil Empf. Beginn 3 Dauer Bindung 4
Individueller Ergänzungsbereich – Allgemeine Angebote / Individueller Ergänzungsbereich im Bachelor [] Technische Fakultät ein Semes­ter Wahl­pflicht
Intelligente Systeme / Master of Science [FsB vom 27.07.2018 mit Änderung vom 04.06.2020] 2. ein Semes­ter Wahl­pflicht
Naturwissenschaftliche Informatik / Master of Science [FsB vom 30.09.2016 mit Berichtigung vom 10.01.2017 und Änderungen vom 15.09.2017, 02.05.2018 und 04.06.2020] 2. ein Semes­ter Wahl­pflicht
Technische Fakultät - Angebote für den Individuellen Ergänzungsbereich / Individueller Ergänzungsbereich im Bachelor [] ein Semes­ter Wahl­pflicht

Automatische Vollständigkeitsprüfung

In diesem Modul kann eine automatische Vollständigkeitsprüfung vom System durchgeführt werden.


Legende

1
Die Modulstruktur beschreibt die zur Erbringung des Moduls notwendigen Prüfungen und Studienleistungen.
2
LP ist die Abkürzung für Leistungspunkte.
3
Die Zahlen in dieser Spalte sind die Fachsemester, in denen der Beginn des Moduls empfohlen wird. Je nach individueller Studienplanung sind gänzlich andere Studienverläufe möglich und sinnvoll.
4
Erläuterungen zur Bindung: "Pflicht" bedeutet: Dieses Modul muss im Laufe des Studiums verpflichtend absolviert werden; "Wahlpflicht" bedeutet: Dieses Modul gehört einer Anzahl von Modulen an, aus denen unter bestimmten Bedingungen ausgewählt werden kann. Genaueres regeln die "Fächerspezifischen Bestimmungen" (siehe Navigation).
5
Workload (Kontaktzeit + Selbststudium)
SL
Studienleistung
Pr
Prüfung
bPr
Anzahl benotete Modul(teil)prüfungen
uPr
Anzahl unbenotete Modul(teil)prüfungen
Diese Leistung kann gemeldet und verbucht werden.