230007 Methoden der angewandten Computerlinguistik (S) (WiSe 2023/2024)

Die automatische Verarbeitung von Texten und Dialogen ist für zahlreiche und sehr verschiedene Anwendungen relevant - von einfachen Rechtschreibkorrekturprogrammen und Chatbots bis hin zu Suchmaschinen, Übersetzungssystemen oder Dialogsystemen. Vielen dieser Anwendungen liegen heute sehr ähnliche, datengetriebene Verfahren und Maschinelles Lernen zu Grunde, da diese z.B. für die Auflösung von Ambiguitäten oder das Verarbeiten eines sehr großen Vokabulars geeignet sind. Zugleich haben sprachlichen Daten Eigenschaften, die für allgemeine Methoden des Maschinellen Lernens eher herausfordernd sind (Sparsity, lange Abhängigkeiten, etc.). Dieser Kurs führt in grundlegende statistische Methoden der Computerlinguistik wie die distributionelle Semantik, Textklassifikation mit Bag-of-Words-Modellen, Tagging mit Hidden-Markov-Modellen u.ä. ein. Wir besprechen für welche Probleme und Anwendungen der Computerlinguistik diese Methoden geeignet sind und wie sie evaluiert werden können. Wir implementieren einige ausgewählte Aspekte und Anwendungen mit Python.

Requirements for participation, required level

Empfohlene Vorkenntnisse:
- Einführung in die Computerlinguistik
- Programmieren mit Python

Bibliography

- Steven Bird, Ewan Klein und Edward Loper. 2009. Natural Language Processing with Python. O’Reilly Media, Sebastopol, CA. Freie an Python 3 und NLK 3 angepasste Onlineversion von 2020 unter http://www.nltk.org/book
- Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft). Aktuelle Draftversion unter https://web.stanford.edu/~jurafsky/slp3/
- Christopher Manning und Hinrich Schütze. 1999. Foundations of Statistical Natural Language Processing. MIT press