392028 Grundlagen Neuronaler Netze (V) (SoSe 2024)

Neuronale Netze sind ein aktives Feld der Informatik und haben speziell in der Form von Deep Neural Networks in den letzten Jahren weitreichende neue Möglichkeiten in vielen Bereichen des Machine Learnings eröffnet, z.B. in der Spracherkennung und Computer Vision. Die Vorlesung vermittelt ein Verständnis der grundlegenden Konzepte neuronaler Informationsverarbeitung.

Ausgehend von Modellvorstellungen der Informationsverarbeitung in biologischen Neuronennetzen werden theoretische Grundlagen und Lernverfahren künstlicher neuronaler Netze dargestellt.
In praktischen Übungen wird das Gelernte vertieft und mit Hilfe von Simulationen in Python programmiertechnisch angewandt.

Ziel der Vorlesung: Die Studierenden ...
... verstehen Grundlagen von Lernen und Gedächtnisprozessen,
... kennen verschiedene Netzwerktypen und dazugehörende Lernverfahren,
... sind in der Lage, die Leistungsfähigkeit der besprochenen Verfahren einzuschätzen
... und können diese auf Probleme in Anwendungsdomänen erfolgreich einsetzen.

Inhaltlich führt die Veranstaltung zuerst überwachte Lernverfahren (supervised learning) ein, wie Regression und Klassifikation. Dazu werden verschiedene Neuronen-Modelle und Neuronale Netz-Modelle diskutiert (Perceptron, MLP, Deep Neural Networks, Convolutional Neural Networks). Im zweiten Teil liegt der Fokus auf unüberwachten Lernverfahren, zum Beispiel Self-Organizing Maps und Hebb-Lernen.

Neural networks have become a thriving field of computer science. In particular Deep Neural Network approaches have been quite successful over the last years in areas like computer vision or speech recognition. The lecture discusses basic notions and concepts underlying neural networks and learning of such systems, starting from supervised learning for regression and classification. It further introduces standard neural networks models, the perceptron and the multi-layer perceptron. Turning to unsupervised learning, several algorithms for vector quantization are introduced, Hebb-learning, and Self-Organizing Maps.

Learning goals: Students …
… understand basic principles of learning and memory,
… know different network types and corresponding learning methods,
… are able to assess the efficiency and effectivity of these methods,
… and can compare as well as apply different neural network models and learning approaches.

Requirements for participation, required level

Algorithmen und Datenstrukturen, Vertiefung Mathematik - die Theorie Neuronaler Netze ist ein Thema der angewandten Mathematik (lineare Algebra).

Requirements for the Lecture
Algorithmen und Datenstrukturen, Vertiefung Mathematik. Neural Networks is an applied math topic - make sure that you recall the necessary basic math.

The lecture achieves 2 CP, the corresponding exercises 2 CP, and an oral exam, which is necessary to complete the module, adds 1 CP.

Bibliography

Literatur
- Deep Learning by I. Goodfellow, Y. Bengio and A.Courville, MIT Press, 2016
- C. Bishop, Pattern Recognition and Machine Learning, Springer 2006, in particular Chap. 1, Chap. 3.1-3.3 (linear models für regression), Chap 4.1. /4.2. (für classification) , Chap 5. (feedforward neural networks).
Darüber hinaus englischsprachiges Skript.

Part of the lecture is based on the book on Deep Learning by I. Goodfellow, Y. Bengio and A.Courville, MIT Press, 2016. Part of the lecture will lean on C. Bishop, Pattern Recognition and Machine Learning, Springer 2006, in particular Chap. 1, Chap. 3.1-3.3 (linear models für regression), Chap 4.1. /4.2. (für classification) , Chap 5. (feedforward neural networks).
Furthermore, lecture notes (in English) are available.