The design of data sonification. Design processes, protocols and tools grounded in anomaly detection

Data sonification is the use of sound to represent and communicate data. It is a field that emerged almost three decades ago, and today, in an increasingly data-intense society, it is gaining momentum as an alternative or complement to the visualization of data. Nonetheless, a series of unresolved issues are still preventing sonification’s full transition from a niche practice for the analysis of scientific data to a widely adopted medium that could impact the way we make sense of complex phenomena (Vickers and Barrass 2011; Barrass 2012; Nees 2019). The lack of widely adopted design tools, experimental protocols and shared processes for the design of sonifications, are among the most cited obstacles. As a structured discipline that is used to tackle complex, real-world problems, can design provide the necessary means for data sonification to expand its reach and emerge as a valid alternative for building and shaping our relationship with data? In this work, I attempt to answer this overarching question in two ways. Through a theoretical investigation, I will first inquire into other sound design practices and their contribution in terms of processes, tools and evaluation protocols; by looking at recent cases, I will later explore the role of intentionality as a pre-requisite for a designerly approach to data sonification. To contextualize intentionality – i.e., deliberate decisions taken to address specific needs, with a purpose and in a given context -I will also engage authors of recent sonifications in a conversation where their approach to sonification will emerge through their projects. From these conversations, I will chart a data sonification space map which is condensed into decisional blocks to form the basis for a data sonification canvas. The canvas, which I intend as a tool to support communication designers in the use of data sonification, will be validated through two series of workshops to provide the first tangible results from this work. Two design actions form the basis of the practical part and ground the theoretical investigation in data sonification applied to real-world cases: the detection of anomalies caused by cyber-attacks on digital and digital-physical networks. The two actions involved the design of a series of prototypes through a purposely defined experimental protocol in which expert users were engaged in quantitative and qualitative research in a real-world setting. The definition of a structured design process and the experimental protocol which emerged from these design actions represent the two main results of this work. Lastly, this work contributes to the corpus of experimental evidence on the potentialities of data sonification as a valid solution for the real-time monitoring of anomalies. In particular, the prototype designed for the second design action is now a fully functioning anomaly-detection tool for which development is ongoing. This work proposes a designerly approach to data sonification which aims to increase the role of sound as a sensory modality for making sense of an increasingly complex world through: a proposal for a structured design process and an experimental protocol - both of which are grounded in sonification for anomaly detection; the definition of a sonification design canvas as a tool to guide designers in the integration of sound as a data representation modality; the development of specific experimentally validated tools that use sonification to support experts in monitoring anomalies in real-world contexts.

Quasi trent’anni fa, la sonificazione dei dati nasceva come campo di ricerca specifico, con l’obiettivo di rappresentare e comunicare dati (in quel momento, principalmente numerici) attraverso il suono. Oggi, in una società sempre più dipendente e influenzata dall’uso intensivo di dati, la sonificazione sembra avere l’opportunità di affermarsi come strumento alternativo o complementare alla visualizazzione, non soltanto nel campo dell’analisi scientifica ma anche come strumento di supporto al processo decisionale o come mezzo di comunicazione ad un pubblico non specialistico. Tuttavia, la sonificazione in quanto campo di ricerca sembra ancora scontare una serie di questioni irrisolte che ne impedisco la trasformazione da pratica di nicchia a strumento diffuso, capace di influenzare la nostra comprensione di fenomeni complessi (Vickers e Barrass 2011; Barrass 2012; Nees 2019). La mancanza di strumenti di progettazione condivisi, di protocolli sperimentali standardizzati e di processi di design ampiamente validati sono tra gli ostacoli più citati nella letteratura recente. Può il design, una disciplina che affronta quotidianamente problemi complessi attraverso strumenti specifici, fornire al campo della sonificazione dei dati la conoscenza necessaria per imporsi come uno strumento valido nella costruzione di una più efficace, efficiente e gratificante – migliore - relazione con i dati? In questo lavoro, ho cercato di rispondere a questa prima ipotesi di lavoro in due modi. Nella parte teorica, ho approfondito la relazione tra la sonificazione e le altre pratiche di design del suono, con particolare interesse ai processi di design, sviluppo e validazione dei risultati che queste pratiche hanno acquisito. Successivamente, attraverso un’analisi condotta su casi recenti, ho esplorato il ruolo dell’intenzionalità dell’autore quale prerequisito di un approccio ‘design-driven’ alla sonificazione di dati. Al fine di contestualizzare l'intenzionalità – quell’insieme di scelte che il designer fa per rispondere a necessità specifiche, con un obiettivo specifico e in un contesto dato – mi sono rivolta ad esperti di sonificazione al fine di approfondire il legame tra caso d’uso, progettazione, sviluppo ed eventuale validazione dei risultati nei loro progetti. Dall’analisi di queste conversazioni emerge una mappatura dello spazio progettuale della sonificazione, a sua volta utilizzata per definire una serie di blocchi decisionali che formano la base di uno strumento – il data sonification canvas – che ha l’obiettivo di supportare i designer della comunicazione nell'uso della sonificazione dei dati. Il canvas, plasmato e validato attraverso due serie di workshop, chiude la parte teorica e rappresenta uno dei primi risultati tangibili di questo lavoro. Due azioni progettuali (‘Design Actions’), centrate sull’uso della sonificazione per il monitoraggio e la prevenzione degli attacchi informatici alle reti digitali e fisiche, costituiscono l’ossatura della parte pratica. Per le due azioni, sviluppate in collaborazione con la Singapore University of Technology and Design e la società spagnola Ibermática, sono stati prodotti una serie di prototipi di sonificazione, successivamente validati sperimentalmente in ambiente reale grazie alla partecipazione di utenti esperti. La definizione di un processo di progettazione e di un protocollo sperimentale dedicati alla sonificazione di dati, emersi dalle due Design Actions, rappresentano, assieme al design canvas, i due principali frutti di questo lavoro. Infine, questo lavoro apporta nuovi risultati sperimentali alla letteratura sull’uso della sonificazione come strumento di monitoraggio delle anomalie nei sistemi digitali e fisici suscettibili di attacchi informatici. In particolare, il prototipo progettato per la seconda Design Action ha dato vita ad un’applicazione digitale dalle potenzialità commerciali, che è ora in corso di sviluppo. Questo lavoro vuole mettere in luce, attraverso un approccio design-driven alla sonificazione dei dati, le potenzialità del suono come modalità sensoriale – alternativa o complementare alla più diffusa modalità visiva – capace di contribuire in maniera efficace al processo di comunicazione e comprensione del mondo sempre più complesso con cui, sempre più spesso, ci relazioniamo attraverso i dati.