Modul 39-M-Inf-VHC_a Virtual Humans and Conversational Agents

Prinzipien und Methoden der Modellierung und Simulation virtueller
Menschen/humanoider Charaktere; Techniken der Computeranimaton und -grafik/VR zur Animation und Realisierung virtueller Menschen; Techniken multimodaler Dialogsysteme und konversationaler Agenten.

Principles and techniques for modeling and simulating virtual humanoid agents/characters; methods of computer animation and computer graphics needed to animate and realize virtual humans; methods of multimodal dialogue systems required to create conversational agents.

Das Modul vermittelt Methoden und aktuelle Trends aus dem Bereich der Modellierung und Simulation virtueller humanoider Agenten, also autonomer, computergafisch animierter Charaktere, wie man sie vermehrt auf Webseiten, in Computerspielen oder als Schnittstellen zu technischen Systemen findet. Der besondere Fokus liegt hier auf der Fähigkeit der natürlichen multimodalen und sprachlichen Interaktion.

Im ersten Modulbereich "Virtual Humans/Verhaltenssimulation" (5 LP) lernen die Studierenden zunächst die Grundlagen der computergrafischen Modellierung und der Animation von Verhalten und darauf aufbauend Methoden und Techniken der intelligenten und autonomen Simulation menschlichen Verhaltens. Dies umfasst Techniken der Bewegungsanimation mit Motion Capturing oder prozeduraler Animation, die Simulation von expressiven Verhaltensweisen (Gesten, Gesichtsausdrücke, Blickbewegungen, etc.), bis hin zur Simulation von Emotionenen oder Persönlichkeit in integrierenden Architekturen. Dabei wird auch die Kopplung und Einbettung in komplexe Umgebungen u.a. mit anderen Agenten und Nutzern behandelt. Die Veranstaltung soll an den Stand der Forschung heranführen und aktuelle Anwendungen aus den Bereichen Mensch-Maschine-Interaktion, Medizin, Ergonomie, Ausbildung/Training oder Unterhaltung demonstrieren.

Der zweite Modulbereich "Konversationale Agenten/Dialogsysteme" (5 LP) konzentriert sich auf die Interaktion mit virtuellen Menschen/Agenten und widmet sich den Techniken, mit denen Agenten Fähigkeiten zum natürlichsprachlichen und multimodalen Dialog bekommen. Dazu gehören Methoden des Sprachverstehens und der Sprachgenerierung, der Verarbeitung und Erzeugung nicht-verbalen kommunikativen Verhaltens (Gestik, Mimik, Kopfgesten, etc.), des Dialogmanagements oder des Turn-Takings.

This module teaches methods and current trends in the field of modeling and simulation of virtual humanoid agents, more specifically, autonomous animated characters as found on websites, in computer games or as interfaces to technical systems with abilities for natural language interaction.

The first part of the module "Virtual Humans/Behavior Simulation" (5 LP) focuses on basic techniques of computer graphics modeling and character animation as well as methods and techniques to create simulations of autonomous human-like behavior. This ranges from motion capture and procedural animation, to higher-level reactive behavior or planned goal-directed action, to simulating emotions or personality in integrated architectures. In this context the embedding and interaction in simulated environments, inter alia with other agents, will also be addressed. The course will touch the current state of the art, also concerning recent applications of simulated virtual agents in human-computer interaction, health science, ergonomics, education/training or entertainment.

The second part "Conversational Agents/Dialogue Systems" focuses on techniques to enable virtual characters/agents to interact and communicate in a natural manner with human users. This includes methods of language processing and generation, dialogue management (e.g., turn-taking or feedback) as well as methods of processing and generating communicative non-verbal behavior (gestures, facial expressions, head gestures, etc.).

Kompetenzen, wie sie beispielsweise im Modul 39-Inf-11 Mensch-Maschine-Interaktion erworben werden können

A recommended prerequisite is knowledge of human-computer interaction and natural language processing as can be acquired in the module 39-Inf-11.

—