Modul 39-M-Inf-ADS Auditory Data Science

Ziel ist die Vermittlung eines Überblicks sowie tieferer Zusammenhänge und Grundlagen im Bereich der Auditiven Displays, insbesondere zentraler Definitionen, Taxonomien, Ordnungssysteme und der konzeptuellen und praktischen Implementierung verschiedener Sonifikationstechniken.
Teilnehmer*innen erlernen Kriterien zur Auswahl von Sonifikationstechniken für konkrete Probleme sowie Richtlinien zur Parametrisierung von Sonifikationsverfahren. Durch zahlreiche Hörbeispiele wird das wissenschaftlich-analytische Hören mit Fokus auf Strukturdifferenzierung geschult. Darüberhinaus werden praktische Kompetenzen zur Sonifikation vermittelt, insbesondere Kenntnisse in der Programmiersprache SuperCollider sowie die Verwendung interaktiver Python Notebooks im NumPy/SciPy-Ökosystem zusammen mit Datenvisualisierungen und Methodenentwicklung als Python Code.

Die Vorlesung führt in das Forschungsfeld Auditory Data Science ein, welches Data Mining und Audio Technology über Verfahren der Sonifikation, d.h. ‚Datenverklanglichung‘ verbindet. Klang wird als Medium zur explorativen Datenanalyse komplexer Daten verwendet, um Änderungen in Datenströmen zu verfolgen (Monitoring) oder Zeitserien zu unterscheiden, die nur durch Visualisierung allein nicht vollständig oder umfassend verstehbar sind. Das Ziel ist, Visualisierungs- und Sonifikationstechniken in Richtung multimodaler Datenperzeptualisierung für explorative Datenanaylse zu erweitern. Sonifikation, die systematische, reproduzierbare Repräsentation von Daten anhand von Klang ist dabei der Schlüssel zur Auditory Data Science und wird zunächst definiert und detailiert eingeführt. Anschließend werden die verschiedenden Sonifikationstechniken erarbeitet: Earcons, Auditory Icons, Audifikation, Parameter-Mapping Sonifikation, Modellbasierte Sonifikation und Wave Space Sonifikation. Darüberhinaus werden in der Vorlesung verschiedende Techniken des induktiven Data Minings, wie z.B. die Schätzung der intrinsischen Datendimension, der Clusterstruktur oder topologischer Eigenschaften erarbeitet, um sie in Sonifikationsprozesse einzubeziehen. Anhand ausgewählter real-world Beispiele auditiver Datenanalyse wird das Potenzial der Auditory Data Science betrachtet, z.B. aus dem Bereich medizinischer Daten für die Felder Diagnose, Monitoring und Therapie.

Nützlich aber nicht zwingend: Kenntnisse in Data Mining
Querbezüge zu: Introduction to Sound Synthesis, Ambient Interfaces

—