Sonificazioni audiovisive. Analisi fenomenologica delle corrispondenze sensoriali per la costruzione dei codici di percezione acustica

Data sonification is a relatively young practice of representing information through sound. Its definition is currently a subject of debate. Since 1992, ICAD (International Community for Auditory Display) conferences and other independent productions have reflected a balancing dynamic between the need to gain scientific authority and the tendency to appeal to a broader audience. The construction of a universal meaning has to deal with the goals, the process, the context and the audience. This research identifies a number of issues that hindered this process. The lack of shared perceptual codes that, similar to the visual context, derive from common modes of perception and the difficulties in sound learning by audiences not educated at gathering information from sound. This thesis proposes a diagrammatic representation that organizes the design through a framework of graphical translation of information, integrated with the acoustic context. This is an experimental approach aimed at laying the groundwork for the affirmation of sonification as the acoustic correspondent of visualization. The project takes shape from the collection of audiovisual sonifications, i.e. exclusively where the sound element stands as a complementary practice to the visual approach. The case studies are then analysed, in order to record sensory correspondences. The term refers to the use of two or more dimensions belonging to different sensory contexts to represent the same data or one of its features. The main goal is to verify the presence of patterns and regularities in the translation processes in approaches that are different and independent. The investigation creates a meeting point between designers and researchers, aiming at the construction of a sign system that stands as a common language to translate information in the acoustic and visual context.

La sonificazione di dati è una pratica relativamente giovane per la rappresentazione delle informazioni attraverso il suono, la cui definizione è attualmente oggetto di dibattito. Dal 1992 le conferenze ICAD (International Community for Auditory Display) e altre produzioni indipendenti, riflettono la dinamica di un continuo bilanciarsi tra la necessità di affermarsi come tecnica scientifica e la tendenza a rivolgersi ad un pubblico più ampio. Per la costruzione universale di significato è fondamentale tenere conto degli obiettivi, del processo e del contesto di relazione con il pubblico. Nel corso della ricerca sono stati individuati alcuni aspetti che hanno ostacolato questo processo, ovvero la mancanza di codici percettivi condivisi che, analogamente al contesto visivo, derivino dalle modalità di percezione comune e le difficoltà nell’apprendimento sonoro da parte del pubblico non educato all’ascolto strutturato, volto a cogliere informazioni dal suono. La tesi propone una rappresentazione diagrammatica che organizza la progettazione attraverso un framework di traduzione grafica dell'informazione, integrato al contesto acustico. Si tratta di un approccio sperimentale volto a porre le basi per l’affermazione della pratica della sonificazione come corrispondente acustico della visualizzazione. Il progetto prende forma dalla raccolta di sonificazioni audiovisive, ovvero esclusivamente laddove l’elemento sonoro si pone come pratica complementare rispetto all’approccio visivo. I casi studio sono poi sottoposti ad un'indagine finalizzata alla registrazione delle corrispondenze sensoriali, termine che fa riferimento all'utilizzo di due o più dimensioni appartenenti a contesti sensoriali differenti per rappresentare lo stesso dato o una sua caratteristica. L’obiettivo principale è quello di verificare la presenza di pattern e regolarità nei processi di traduzione in approcci diversi, indipendenti e spesso lontani tra loro. L’indagine crea un punto di incontro tra progettisti e ricercatori, mirando alla costruzione di un sistema di segni che costituiscano un linguaggio comune di traduzione dell’informazione per il contesto acustico e visivo.