392260 Projekt: Entwicklung eines interaktiven Systems zur Imitation von emotional gefärbter Sprache (Pj) (WiSe 2013/2014)

Sprache und Mimik sind wichtige, wenn nicht die wichtigsten Kanäle für die menschliche Kommunikation.
Informationen werden einerseits explizit durch ausdrückliche Formulierung übermittelt.
Jede Äußerung ist außerdem durch die Sprechmelodie und/oder durch Gesichtsmimik emotional gefärbt (implizite Übermittlung).

Das Ziel dieses Projektes ist die Implementierung eines interaktiven Systems, welches den sprachlichen und emotionalen Inhalt von Äußerungen eines menschlichen Interaktionspartners erfasst und erkennt.
Anschließend soll so die Sprache und Mimik des Benutzers durch einen virtuellen Agenten des Roboters Flobi[1] wiedergegeben werden.

Als Basis für die Spracherkennungskomponente wird der ISR (Incremental Speech Recognizer) aus dem Toolkit ESMERALDA[2] mit Modellen aus dem deutschen Verbmobil-Korpus[3] verwendet.
Hinsichtlich der Emotionserkennung bietet sich die Verwendung von Open-Source-Toolkits wie EmoVoice[4] oder OpenSMILE[5] oder einer eigenen Komponente an.
Als Sprachsynthesesystem wird OpenMary[6] verwendet.

Mögliche Erweiterungen sind Erhöhung der Robustheit der Emotionserkennung und -klassifizierung sowie Evaluation und Tuning der wahrgenommenen emotionalen Färbung der synthetisierten Sprache.

Teilnahmevoraussetzungen, notwendige Vorkenntnisse

Es sei dringend empfohlen, dass die Veranstaltung "Einführung in die Automatische Spracherkennung" absolviert wurde.
Außerdem sollten gute Programmierkenntnisse in Java oder C++ vorhanden sein.

Literaturangaben

[1] https://toolkit.cit-ec.uni-bielefeld.de/systems/flobi-simulation
[2] http://sourceforge.net/projects/esmeralda
[3] http://verbmobil.dfki.de/
[4] http://www.informatik.uni-augsburg.de/de/lehrstuehle/hcm/projects/tools/emovoice
[5] http://sourceforge.net/projects/opensmile
[6] https://github.com/marytts/marytts