Maschinelles Lernen ist ein zentrales Verfahren in der computerlinguistischen Forschung und vielen sprachtechnologischen Anwendungen. In den letzten Jahren wurden hier vor allem mit sogenannten neuronalen Netzen bzw. Methoden des Deep Learning Fortschritte erzielt. Dieses Seminar führt zunächst in einige grundlegende Verfahren des Lernens in der Computerlinguistik ein (distributionelle Semantik, logistische Regression/Textklassifikation). Wir beschäftigen uns dann mit zwei grundlegenden Typen von neuronalen Netzen, Feed-forward-Netzen und rekurrenten Netzen, und besprechen deren Anwendung in der Sprachverarbeitung. Außerdem geht es um Verfahren zum Lernen von sogenannten Wort- und Satzeinbettungen, die Wörter und Sätze mit kontinuierlichen Repräsentationen erfassen, neuere Entwicklungen wie Transformer-Architekturen, aber auch linguistische Ansätze zur Evaluation und Modellierung von neuronalen Sprachmodellen.
Notwendig:
- Programmieren mit Python
Empfohlen:
- Einführung Computerlinguistik o.ä.
- Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft). Aktuelle Draftversion unter https://web.stanford.edu/~jurafsky/slp3/
- Delip Rao und Brian McMahan. 2019. Natural Language Processing mit PyTorch. O'Reilly
Rhythmus | Tag | Uhrzeit | Format / Ort | Zeitraum |
---|
Modul | Veranstaltung | Leistungen | |
---|---|---|---|
23-LIN-Inf Computerlinguistische Grundlagen für Informatik-Studierende | Veranstaltung aus dem Bereich computerlinguistische Grundlagen | Studienleistung
|
Studieninformation |
Veranstaltung aus dem Bereich computerlinguistische Grundlagen | Studienleistung
|
Studieninformation | |
Veranstaltung aus dem Bereich computerlinguistische Grundlagen | Studienleistung
|
Studieninformation | |
- | benotete Prüfungsleistung | Studieninformation | |
23-LIN-MaCL-MethAngewCL Methoden der angewandten Computerlinguistik | Lehrveranstaltung 1 | Studienleistung
|
Studieninformation |
Lehrveranstaltung 2 | Studienleistung
|
Studieninformation |
Die verbindlichen Modulbeschreibungen enthalten weitere Informationen, auch zu den "Leistungen" und ihren Anforderungen. Sind mehrere "Leistungsformen" möglich, entscheiden die jeweiligen Lehrenden darüber.
Für den Erhalt der Studienleistungen müssen regelmäßig (wöchentliche) Programmieraufgaben bearbeitet werden. Diese werden in einem begleitenden Lab geübt. Der Besuch des Labs wird sehr empfohlen.
Zu dieser Veranstaltung existiert ein Lernraum im E-Learning System. Lehrende können dort Materialien zu dieser Lehrveranstaltung bereitstellen: