Modul 39-M-Inf-VHC Virtual Humans and Conversational Agents

Prinzipien und Methoden der Modellierung und Simulation virtueller
Menschen/humanoider Charaktere; Techniken der Computeranimaton und -grafik/VR zur Animation und Realisierung virtueller Menschen; Techniken multimodaler Dialogsysteme und konversationaler Agenten.

Principles and techniques for modeling and simulating virtual humanoid agents/characters; methods of computer animation and computer graphics needed to animate and realize virtual humans; methods of multimodal dialogue systems required to create conversational agents.

Das Modul vermittelt Methoden und aktuelle Trends aus dem Bereich der Modellierung und Simulation virtueller humanoider Agenten, also autonomer, computergafisch animierter Charaktere, wie man sie vermehrt auf Webseiten, in Computerspielen oder als Schnittstellen zu technischen Systemen findet. Der besondere Fokus liegt hier auf der Fähigkeit der natürlichen multimodalen und sprachlichen Interaktion.

Der erste Modulbereich "Virtual Humans/Verhaltenssimulation" (5 LP) lernen die Studierenden zunächst die Grundlagen der computergrafischen Modellierung und Animation von Verhalten und vermittelt darauf aufbauend Methoden und Techniken der intelligenten und autonomen Simulation menschlichen Verhaltens. Dies umfasst einfaches, reaktives Verhalten bis hin zu kognitiven, zielgerichteten Aktionen, Emotionen oder Persönlichkeit und integrierende Architekturen. Dabei wird auch die Kopplung und Einbettung in komplexe virtuelle Umgebungen u.a. mit anderen Agenten und Nutzern behandelt (z.B. Fragen der simulierten Perzeption, Navigation, Objektmanipulation). Die Vorlesung bzw. das Seminar wird konsequent an den Stand der Forschung heranführen und aktuelle Anwendungen aus den Bereichen Mensch-Maschine-Interaktion, Medizin, Ergonomie, Ausbildung/Training oder Unterhaltung demonstrieren.

Der zweite Modulbereich "Konversationale Agenten/Dialogsysteme" (5 LP) konzentriert sich auf die Interaktion mit virtuellen Menschen/Agenten und widmet sich den Techniken, mit denen Agenten Fähigkeiten zum natürlichsprachlichen und multimodalen Dialog bekommen.
Dazu gehören Methoden des Sprachverstehens und der Sprachgenerierung, der
Verarbeitung und Erzeugung non-verbalen Verhaltens (Gestik, Mimik, Kopfgesten, etc.), des Dialogmanagements, des Turn-Taking oder des Groundings.

This module teaches methods and current trends in the field of modeling and simulation of virtual humanoid agents, more specifically, autonomous animated characters as can be found on websites, in computer games or as interfaces to technical systems with abilities for natural language interaction.

The first part of the module "Virtual Humans/Behavior Simulation" (5 LP) teaches basic techniques of computer graphics modeling and character animation as well as methods and techniques to create simulations of autonomous human-like behavior. This ranges from reactive behaviors and crowd behavior to planned goal-directed action, emotions, or personality in integrated architectures. In this context the embedding and interaction in simulated environments, inter alia with other agents, will be addressed (e.g., concerning perception, collision handling, object manipulation). The lecture or seminar will lay the bases but also touch the current state of the art, also concerning recent applications of simulated virtual agents in human-computer interaction, health science, ergonomics, education/training or entertainment.
The second part "Conversational Agents/Dialogue Systems" focuses on techniques to make virtual characters/agents interact and communicate in a natural manner with human users. This includes methods of language processing and generation, dialogue management (e.g., turn-taking or feedback) as well as methods of processing and generating non-verbal behaviors (gestures, facial expressions, head gestures, etc.).

Kompetenzen, wie sie beispielsweise im Modul 39-Inf-11 Mensch-Maschine-Interaktion erworben werden können

A recommended prerequisite is knowledge of human-computer interaction and natural language processing as can be acquired in the module 39-Inf-11.

—