Module 39-M-Inf-SSV Speech Signal Processing

Faculty

Person responsible for module

Regular cycle (beginning)

Every winter semester

Credit points and duration

10 Credit points

For information on the duration of the modul, refer to the courses of study in which the module is used.

Competencies

Es werden grundlegende Methoden der Spracherkennung vermittelt, wie sie aktuell nicht nur in Forschungsprototypen verwendet werden sondern auch in alltäglichen Anwendungen Einsatz finden. Die Studierenden sollen nach der Vorlesung in der Lage sein, die Leistungsfähigkeit von Spracherkennungssystemen einzuschätzen, aber auch selber ein Spracherkennungssystem mit einem vorhandenen Framework wie Esmeralda oder HTK zu trainieren und zu evaluieren.

In this lecture students will learn basic methods of automatic speech recognition (ASR) as they are used both in research prototypes as well as in off-the-shelf ASR systems. After this lecture students should be able to critically examine the performance of ASR systems and to train and evaluate an ASR system such as Esmeralda or HTK.

Content of teaching

Die Vorlesung "Spracherkennung" befasst sich mit Methoden zur automatischen Umsetzung von gesprochenen Äußerungen in eine möglichst exakte orthographische Repräsentation, wie sie z.B. in Diktiersystemen aber auch anderen Systemen zur sprachlichen Steuerung technischer Systeme zum Einsatz kommen. In der Veranstaltung werden zunächst speziell in der Spracherkennung eingesetzte Verfahren zur Signalverarbeitung sowie grundlegende Erkenntnisse aus der artikulatorischen und akustische Phonetik vorgestellt. Schwerpunktmäßig wird dann das nach dem gegenwärtigen Stand der Forschung vorherrschende Paradigma zur automatischen Spracherkennung behandelt - die sogenannten Hidden-Markov-Modelle (HMM). Die mathematischen Grundlagen dieser statistischen Modellierungstechnik für gesprochene Sprache werden eingeführt und Algorithmen zur Parameterschätzung sowie zum Einsatz für die Analyse von Sprachsignalen behandelt. Anhand existierender Spracherkennungssysteme werden mögliche Varianten der HMM-Technologie vorgestellt und diskutiert.

Die Vorlesung "Anwendungsorientierte Sprachverarbeitung" stellt die in einer konkreten Entwicklungsumgebung für statistische Signalanalysesysteme bereitgestellten Implementierungen der aus der Vorlesung "Spracherkennung" bekannten Verfahren vor. Im Rahmen der zugehörigen Übungen werden dann fortgeschrittene Techniken der automatischen Sprachverarbeitung theoretisch erarbeitet und in Gruppenprojekten implementiert und evaluiert.

Alternativ zur Vorlesung "Anwendungsorientierte Sprachverarbeitung" werden im Rahmen eines Seminars ausgewählte, spezialisierte Themen der automatischen Sprachsignalverarbeitung behandelt. Dabei wird ein Themenkomplex von jedem Teilnehmer aufbereitet und in einem Vortrag präsentiert. Zusätzlich wird eine Ausarbeitung zum jeweiligen Thema erstellt.

The lecture Speech Recognition focuses on methods to automatically derive an orthographic representation from spoken speech as used in automatic dictating machines or for the speech-based control of technical systems. We will start-off with an overview of the human articulatory system in order to better understand the components of the speech signal in terms of the source-filter model as well as phonetic phenomena such as coarticulation or reduction. This forms the basis for the signal processing methods where the different components of source and filter are decomposed. One important part of the lecture are Hidden-Markov-Models (HMMs) which still represent the paradigm of state-of-the-art ASR approaches. The mathematical basis of this statistical modeling approach will be discussed and algorithms for training and decoding of HMMs given a speech signal and an annotation for training will be presented in detail. Several variants of ASR systems will be discussed.

The lecture "Application oriented speech processing" will present concrete implementations of the algorithms discussed in the lecture "Speech Recognition". Within the exercises advanced ASR techniques will be derived at a theoretical level and will be implemented and evaluated in group projects.
Alternatively to this lecture selected topics of ASR will be discusse in a seminar. In the seminar participants are expected to prepare and give a presentation on a specific topic as well as provide a written summary.

Recommended previous knowledge

Kompetenzen, wie sie beispielsweise im Modul 39-Inf-MK Musterklassifikation erworben werden können

Recommended Competences: Competences as they can be achieved with the Module 39-Inf-MK Pattern Recognition

Necessary requirements

Explanation regarding the elements of the module

Hinweise zur Veranstaltungswahl:
Es ist entweder die Vorlesung und Übung Anwendungsorientierte Sprachverarbeitung oder das Seminar Sprachverarbeitung zu besuchen.

Unbenotete / benotete Modulprüfung:
Die Modul(teil)prüfung kann in einigen Studiengängen nach Wahl der Studierenden auch "unbenotet" erbracht werden. Vor Erbringung ist eine entsprechende Festlegung vorzunehmen, eine nachträgliche Änderung (benotet - unbenotet) ist ausgeschlossen. Wird diese Option gewählt, ist es nicht möglich, dieses Modul zu verwenden, um es in einen Studiengang einzubringen, in dem dieses Modul bei der Gesamtnotenberechnung berücksichtigt wird.

Ungraded / Graded Module Examination:
The (partial) examination of the module can be performed as "ungraded" in some study programs at the students choice. Before the examination a respective determination must be carried out, a later modification (graded - ungraded) is impossible. If the "ungraded" option is chosen, it is not possible to include this module in a study program where this module is deemed to enter the calculation of the overall grade.

Module structure: 1 SL, 0-1 bPr, 0-1 uPr 1

Courses

Anwendungsorientierte Sprachverarbeitung
Type lecture
Regular cycle SoSe
Workload5 30 h (15 + 15)
LP 1

Alternativ zu Vorlesung und Übung Anwendungsorientierte Sprachverarbeitung kann auch ein Seminar Sprachverarbeitung besucht werden.

Alternatively to lecture and exercises a seminar language processing can be chosen.

Anwendungsorientierte Sprachverarbeitung
Type tutorial (in connection with lecture/seminar)
Regular cycle SoSe
Workload5 90 h (45 + 45)
LP 3 [SL]

Alternativ zu Vorlesung und Übung Anwendungsorientierte Sprachverarbeitung kann auch ein Seminar Sprachverarbeitung besucht werden.

Alternatively to lecture and exercises a seminar language processing can be chosen.

Spracherkennung
Type tutorial (in connection with lecture/seminar)
Regular cycle WiSe
Workload5 30 h (15 + 15)
LP 1
Spracherkennung
Type lecture
Regular cycle WiSe
Workload5 90 h (45 + 45)
Sprachverarbeitung
Type seminar
Regular cycle SoSe
Workload5 120 h (30 + 90)
LP 4 [SL]

Alternativ zu einem Seminar Sprachverarbeitung kann die Vorlesung und Übung Anwendungsorientierte Sprachverarbeitung besucht werden.

Alternatively to lecture and exercises a seminar language processing can be chosen.


Study requirements

Allocated examiner Workload LP2
Teaching staff of the course Anwendungsorientierte Sprachverarbeitung (tutorial (in connection with lecture/seminar))

Referat (15-25 min.)

oral presentation (15-25 min.)

see above see above
Teaching staff of the course Sprachverarbeitung (seminar)

Referat (15-25 min.)

see above see above

Examinations

oral examination
Allocated examiner Teaching staff of the course Spracherkennung (lecture)
Weighting without grades
Workload 60h
LP2 2

In einigen Studiengängen der Technischen Fakultät kann die Modulprüfung nach Wahl der Studierenden auch "unbenotet" erbracht werden (s. Erläuterungen zu den Modulelementen und die jeweilige FsB). Wird die unbenotete Option gewählt, ist es nicht möglich, dieses Modul zu verwenden, um es in einen Studiengang einzubringen, in dem dieses Modul bei der Gesamtnotenberechnung berücksichtigt wird.
Erläuterungen zu dieser Prüfung siehe unten (benotete Prüfungsvariante).

oral examination
Allocated examiner Teaching staff of the course Spracherkennung (lecture)
Weighting 1
Workload 60h
LP2 2

Mündliche Prüfung (15-25 min.) über die Inhalte von Vorlesung und Übungen.

oral examination (15-25 min.) about the contents of lecture and exercises

The module is used in these degree programmes:

Degree programme Profile Recom­mended start 3 Duration Manda­tory option 4
Data Science / Master of Science [FsB vom 06.04.2018 mit Änderungen vom 01.07.2019, 02.03.2020 und 21.03.2023] Variante 1 3. two semesters Compul­sory optional subject
Data Science / Master of Science [FsB vom 06.04.2018 mit Änderungen vom 01.07.2019, 02.03.2020 und 21.03.2023] Variante 2 3. two semesters Compul­sory optional subject
Intelligent Systems / Master of Science [FsB vom 27.07.2018 mit Änderung vom 04.06.2020] 1. two semesters Compul­sory optional subject
Intelligent Systems / Master of Science [FsB vom 17.12.2012 mit Änderungen vom 15.04.2013, 01.04.2014, 15.10.2014, 02.03.2015 und Berichtigung vom 17.11.2014] 1. two semesters Compul­sory optional subject
Informatics for the Natural Sciences / Master of Science [FsB vom 30.09.2016 mit Berichtigung vom 10.01.2017 und Änderungen vom 15.09.2017, 02.05.2018, 04.06.2020 und 31.03.2023] 1. o. 3. two semesters Compul­sory optional subject
Informatics for the Natural Sciences / Master of Science [FsB vom 17.12.2012 mit Änderungen vom 15.04.2013, 01.04.2014, 15.10.2014, 02.03.2015, 01.12.2015 und Berichtigungen vom 01.04.2014, 17.11.2014 und 12.07.2017] 1. o. 3. two semesters Compul­sory optional subject

Automatic check for completeness

The system can perform an automatic check for completeness for this module.


Legend

1
The module structure displays the required number of study requirements and examinations.
2
LP is the short form for credit points.
3
The figures in this column are the specialist semesters in which it is recommended to start the module. Depending on the individual study schedule, entirely different courses of study are possible and advisable.
4
Explanations on mandatory option: "Obligation" means: This module is mandatory for the course of the studies; "Optional obligation" means: This module belongs to a number of modules available for selection under certain circumstances. This is more precisely regulated by the "Subject-related regulations" (see navigation).
5
Workload (contact time + self-study)
SL
Study requirement
Pr
Examination
bPr
Number of examinations with grades
uPr
Number of examinations without grades
Diese Leistung kann gemeldet und verbucht werden.