230012 Neuronale Netze in der Sprachverarbeitung (S) (SoSe 2024)

Maschinelles Lernen ist ein zentrales Verfahren in der computerlinguistischen Forschung und vielen sprachtechnologischen Anwendungen. In den letzten Jahren wurden hier vor allem mit sogenannten neuronalen Netzen bzw. Methoden des Deep Learning Fortschritte erzielt. Dieses Seminar führt anhand von Sprachmodellen in verschiedenen Verfahren und Architekturen für Sprachverabeitung mit maschinellem Lernen ein. Wir beschäftigen uns mit grundlegenden Typen von neuronalen Netzen, Feed-forward-Netzen, rekurrenten Netzen und Transformern, und besprechen deren Anwendung auf das Problem der Sprachmodellierung. Außerdem reflektieren, evaluieren und analysieren wir diese verschiedenen Modelle aus linguistischer Sicht und im Hinblick auf verschiedene linguistische Phänomenbereiche.

Teilnahmevoraussetzungen, notwendige Vorkenntnisse

Notwendige Voraussetzungen:
- Programmieren mit Python

Empfohlene Vorkenntnisse:
- Einführung in die Computerlinguistik, o.ä.
- Grundwissen im maschinellen Lernen/statistische Sprachverarbeitung: besonders empfohlen wird hier der Kurs "Methoden der angewandten Computerlinguistik" (BA Computerlinguistik), der theoretische und praktische Grundkenntnisse in diesem Bereich vermittelt