Module 39-M-Inf-ADS Auditory Data Science

Ziel ist die Vermittlung eines Überblicks sowie tieferer Zusammenhänge und Grundlagen im Bereich der Auditiven Displays, insbesondere zentraler Definitionen, Taxonomien, Ordnungssysteme und der konzeptuellen und praktischen Implementierung verschiedener Sonifikationstechniken.
Teilnehmer*innen erlernen Kriterien zur Auswahl von Sonifikationstechniken für konkrete Probleme sowie Richtlinien zur Parametrisierung von Sonifikationsverfahren. Durch zahlreiche Hörbeispiele wird das wissenschaftlich-analytische Hören mit Fokus auf Strukturdifferenzierung geschult. Darüberhinaus werden praktische Kompetenzen zur Sonifikation vermittelt, insbesondere Kenntnisse in der Programmiersprache SuperCollider sowie die Verwendung interaktiver Python Notebooks im NumPy/SciPy-Ökosystem zusammen mit Datenvisualisierungen und Methodenentwicklung als Python Code.

The goal is to give an overview and transfer knowledge of foundations and interrelations in the area of auditory displays, including key definitions, taxonomy, organization system and the conceptual and practical implementation of different sonification methods. Participants will learn criteria for the selection of sonification methods for given problems as well es guidelines for the parameterization of sonification methods. The scientific analytic listening competence will be developed and trained with help of many sonification examples, with focus on the discrimination of structures in sound. Furthermore participants will develop practical competences in sonification, including programming skills in the sound programming language SuperCollider and interactive coding in the NumPy/SciPy ecosystem, with visualizations and method development in python.

Die Vorlesung führt in das Forschungsfeld Auditory Data Science ein, welches Data Mining und Audio Technology über Verfahren der Sonifikation, d.h. ‚Datenverklanglichung‘ verbindet. Klang wird als Medium zur explorativen Datenanalyse komplexer Daten verwendet, um Änderungen in Datenströmen zu verfolgen (Monitoring) oder Zeitserien zu unterscheiden, die nur durch Visualisierung allein nicht vollständig oder umfassend verstehbar sind. Das Ziel ist, Visualisierungs- und Sonifikationstechniken in Richtung multimodaler Datenperzeptualisierung für explorative Datenanaylse zu erweitern. Sonifikation, die systematische, reproduzierbare Repräsentation von Daten anhand von Klang ist dabei der Schlüssel zur Auditory Data Science und wird zunächst definiert und detailiert eingeführt. Anschließend werden die verschiedenden Sonifikationstechniken erarbeitet: Earcons, Auditory Icons, Audifikation, Parameter-Mapping Sonifikation, Modellbasierte Sonifikation und Wave Space Sonifikation. Darüberhinaus werden in der Vorlesung verschiedende Techniken des induktiven Data Minings, wie z.B. die Schätzung der intrinsischen Datendimension, der Clusterstruktur oder topologischer Eigenschaften erarbeitet, um sie in Sonifikationsprozesse einzubeziehen. Anhand ausgewählter real-world Beispiele auditiver Datenanalyse wird das Potenzial der Auditory Data Science betrachtet, z.B. aus dem Bereich medizinischer Daten für die Felder Diagnose, Monitoring und Therapie.

The lecture introduces into the research field of Auditory Data Science which connects Data Mining to Audio Technology via methods of Sonification, i.e., ‘auditory data representations’. Here, sound is the medium for exploratory data analysis of complex data, for monitoring changes in complex data streams, for discriminating complex time series that are difficult to understand from visualization alone, for supporting exploratory interactions with complex data, to enhance our insight into data by teaming up visualization and sonification towards multimodal data exploration or perceptualization. Sonification, the systematic, reproducible representation of data as sound is the key to auditory data
science and thus is first comprehensively introduced and defined. In turn, sonification techniques will be presented and discussed: Earcons, Auditory Icons, Audification, Parameter-Mapping Sonification, Model-based Sonification and Wave Space Sonification. Furthermore, selected techniques for inductive data mining, such as estimation of intrinsic dimensionality, topology or clustering of high-dimensional data will be introduced in order to use them within sonification processes. At hand of selected real-world examples for auditory data analysis we will discuss the potential of auditory data science, e.g. sonification of medical data for diagnosis, monitoring and therapy.

Nützlich aber nicht zwingend: Kenntnisse in Data Mining
Querbezüge zu: Introduction to Sound Synthesis, Ambient Interfaces

Nützlich aber nicht zwingend: Kenntnisse in Data Mining
Querbezüge zu: Introduction to Sound Synthesis, Ambient Interfaces

—