Module 39-Inf-PDC Parallel and Distributed Computing

Nach erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage

• theoretische Modelle paralleler und verteilter Berechnung formal zu beschreiben und zu vergleichen,
• Komplexität, Skalierbarkeit und Effizienz paralleler Algorithmen analytisch zu bewerten,
• Synchronisations- und Konsistenzmechanismen formal zu analysieren,
• fundamentale Resultate der Distributed-Systems-Theorie kritisch einzuordnen,
• Kommunikations- und Fehlermodelle verteilter Systeme zu modellieren,
• Forschungsarbeiten aus dem Bereich Parallel- und Distributed Computing systematisch zu analysieren,
• eigenständig wissenschaftliche Fragestellungen zu Entwurf, Analyse und Verifikation verteilter Systeme zu entwickeln.

Das Modul vermittelt eine Einführung in die theoretischen, algorithmischen und systemischen Grundlagen des parallelen und verteilten Computing. Im Mittelpunkt stehen formale Modelle der Nebenläufigkeit, Komplexität paralleler Algorithmen, Konsistenz- und Synchronisationsmodelle sowie skalierbare Architekturen verteilter Systeme. Das Modul verbindet klassische theoretische Ansätze mit aktuellen Forschungsfragen zum Hochleistungsrechnen sowie zu Cloud- und Edge-Infrastrukturen, verteilten Datenverarbeitungssystemen sowie fehlertoleranten und asynchronen Systemen. Die Studierenden analysieren die Grenzen und Möglichkeiten paralleler Ausführung auf unterschiedlichen Abstraktionsebenen — von Speicher- und Prozessmodellen über Kommunikationsprotokolle bis hin zu verteilten Konsensverfahren. Neben mathematischen und algorithmischen Fundamenten werden aktuelle Forschungsperspektiven zu Skalierbarkeit, Determinismus, Resilienz, Energieeffizienz und Heterogenität moderner Rechensysteme diskutiert.

Inhaltliche Schwerpunkte (u.a.)

1. Grundlagen paralleler Berechnung

• Modelle paralleler Rechnerarchitekturen, PRAM-, BSP- und LogP-Modelle, Shared-Memory- vs. Distributed-Memory-Paradigmen, Daten- und Taskparallelität, Amdahl- und Gustafson-Gesetze

2. Nebenläufigkeit und Synchronisation in verteilten Umgebungen

• Prozesse, Threads und Scheduling, Kritische Abschnitte und Distributed Mutual Exclusion, Locking-Strategien und lockfreie Verfahren, Deadlocks, Speicherkonsistenzmodelle, • Happens-before-Relationen und Kausalität

3. Theoretische Grundlagen verteilter Systeme

• Synchrone, asynchrone und partiell synchrone Systeme, Nachrichtenpassing und Kommunikationskomplexität, Zeit, Ordnung und verteilte Zustände, Logische und Vektoruhren, • Leader Election und verteilte Koordination

4. Konsens und Fehlertoleranz

• Byzantine Fault Tolerance, Konsensalgorithmen, FLP-Unmöglichkeitsresultat, Replikation und Konsistenz, CAP-Theorem und Konsistenzgarantien

5. Parallele und verteilte Algorithmen

• Divide-and-Conquer-Strategien, Graphalgorithmen und parallele Traversierung• Verteilte Such- und Optimierungsverfahren, Skalierbare Datenverarbeitung, Work-Stealing und dynamisches Load Balancing

6. Forschungsnahe Themenfelder (optionale Auswahl je nach Zeitbudget)

• GPU- und heterogenes Computing, Verteiltes maschinelles Lernen, Cloud-, Fog- und Edge-Computing, Energieeffizientes Parallelrechnen, Verifikation verteilter Systeme, Deterministische Parallelität und Reproduzierbarkeit

39-Inf-PP Prinzipien der Programmierung

—