230040 Lab: Neuronale Netze (S) (SoSe 2023)

Neuronale Methoden haben sich in den vergangenen Jahren zum dominierenden Paradigma in der maschinellen Sprachverarbeitung (Natural Language Processing, NLP) entwickelt, und stellen heute den State-of-the-Art in einer Vielzahl von unterschiedlichen NLP-Tasks dar. Gleichzeitig erlaubt ihr datengetriebener Ansatz, dass allgemeinere Arten von Netzwerk-Architekturen für unterschiedliche Problemstellungen verwendet werden können.

In diesem Seminar wird die Anwendung und Implementation von neuronalen Netzwerken in der computerlinguistischen Forschung betrachtet. Wir wenden unterschiedliche Arten von neuronalen Netzen auf ausgewählte Probleme in der Verarbeitung von natürlicher Sprache an. Ein Schwerpunkt soll hierbei auf Modellen zur Sequenz-Generierung liegen, wie sie z.B. in der maschinellen Übersetzung, der Dialogmodellierung oder der automatischen Generierung von Bildbeschreibungen zum Einsatz kommen.

Im Vordergrund der Veranstaltung steht die praktische Anwendung, um relevante Programmiertechniken mit Python und dem Framework PyTorch zu erlernen. In Ergänzung hierzu ist die Besprechung von relevanten Netzwerk-Architekturen, Papers und Python-Modulen durch den Veranstaltungsleiter oder die Teilnehmenden geplant.

Requirements for participation, required level

Grundsätzliche Fähigkeiten in der Programmierung mit Python werden vorausgesetzt.