Environmental noise analysis and masking implementation on iOS devices

This thesis refers to the development of an iOS application, with the aim of investigating limitations and points of strength given by these devices to perform envronmental noise analysis and application of sound masking algorithms. This project has been developed between September 2016 and March 2017 under the supervision of Engineers Rizzi and Ghelfi at ''Suono e Vita'' in Lecco. The Design and development of the application follow a first phase of study and experimentation with the aim of understanding limits and constraints given by iOS devices and performing an analysis of environmental noises. Therefore, first chapters contain a theoretical background – which is useful to understand the work environment and tools to perform the masking task – followed by a bibliographic research that has the aim to comprehend and investigate different state-of-the-art methodologies for disturbances analysis and masking. Researches will focus on two main areas: the first addresses masking of environmental noise, while the second refers to conversational privacy. A study focused on devices and microphones will follow with the objective to individuate the smartphone technology limits in noise analysis from the perspective of frequency and power. In order to go beyond literature studies, an independent experiment with the aim of studying aspects strictly related to frequency behavior and external microphone (electrical noise, frequency response and sensitivity), has been carried out. The data collected from these instruments have been compared to a professional Sound Level Meter, with the aim of observing how they react to energy variations of an artificially generated noise. These evaluations gave us the possibility to understand in which frequency range most reliable and coherent analysis results are observable, in order to have functional data to actually perform the masking task. They also allow us to understand which fields of interest can be elided, since boundaries in device functionality are encountered. In particular, experimentation allowed to restrict frequency domain of analysis between 200 Hz and 7000 Hz, range in which interesting energy fluctuations can be observed and exclude application fields like nocturne environments with disturbances levels below 35 dB. Therefore, target context has been re-evaluated to situations where higher annoying power levels can be observed: for example, to help students concentrate in crowed environments or give an instrument to workers in order to not be distracted by speech in near rooms. That is the reason why development concentrates in both band limited environmental noise masking and speech privacy applications. In order to generate masking sounds from the same device of analysis an algorithm based on psychoacoustic model has been implemented. The best algorithm optimisation has been researchedwith the aim of obtaining faster equalization metrics, in order to not disappoint users with delays. The applications is implemented natively on iOS, using Core Audio API to obtain a more precise and fine tuning of device hardware. The result of the elaboration output is an equalization of the sound that, reproduced through headphones or loudspeakers, masks environmental disturbances as well as speech. An important aspect for a wise use of the application and the realization of the objective is to maintain a good perceived quality. Generated sounds beyond masking capabilities have to relax listeners. In particular, with the aim to find the best sounds that are able to reduce stress on users and help them focusing on their tasks, a bibliographic research in psychology ambit has been conducted. What has emerged from these studies is that natural sounds (like rain, flowing river, waves etc) have the best benefits in relaxing individuals and help them concentrate in noisy contexts. Another advantage of these sounds is their spectral shape which is similar to noise and so very malleable in equalization phase. All these observations represent the reasons why natural sounds have been chosen as maskers traces proposed to the user. In addition, the subject of the maintenance of sound pleasantness will be examine in depth, in order to find the best way to maintain a genuine sound and do not compromise its masking property. For this aim, two methods are presented. The first is triggered by tonality of input sound and will handle equalisation, the other will work on gain level between contiguous filters in order to maintain sound naturalness. Finally, results will be presented from a survey conducted by eleven users who have evaluated the masking capacity and pleasantness of the application, both from the perspective of environmental interferences and conversational privacy.

Questo lavoro di tesi tratta lo sviluppo di un'applicazione per smartphone iOS, volta all'analisi del rumore ambientale e al suo mascheramento, con il fine di comprendere e investigare limitazioni e punti di forza di questi dispositivi. Il lavoro è stato condotto sotto la supervisione dell’Ing. Rizzi e dell’Ing. Ghelfi di Suono e Vita, uno studio di consulenza acustica situato a Lecco, fra Settembre 2016 e Marzo 2017. La progettazione e lo sviluppo dell'applicazione, così come l'ambito di utilizzo in cui verrà posta, seguono a una prima fase di studio e sperimentazione volta a comprendere i limiti degli smartphone iOS per svolgere analisi del rumore ambientale. I primi capitoli contengono dunque un background teorico - utile per contestualizzare l'ambito di lavoro e gli strumenti per poter svolgere il mascheramento - seguito da una ricerca il cui scopo è quello di comprendere e investigare metodologie differenti di analisi e mascheramento di disturbi di vario tipo. Verranno posti in evidenza due filoni principali, uno rivolto al mascheramento di disturbi presenti nell'ambiente, l'altro alla privacy di conversazioni e parlato. Seguirà uno studio focalizzato sui dispositivi e sui microfoni, con l'obiettivo di individuare i limiti nel riconoscimento e nell'analisi di rumore dal punto di vista della frequenza e della potenza. Per poter approfondire gli studi presenti in letteratura, un esperimento autonomo è stato condotto, volto a porre in analisi aspetti più strettamente legati al comportamento in frequenza e allo studio di microfoni esterni (in relazione al rumore elettronico, risposta in frequenza e sensibilità). I dati raccolti da questi strumenti sono stati posti a confronto con un fonometro professionale, al fine di osservare come reagissero alle variazioni in energia di un rumore generato artificialmente. Tali valutazioni hanno consentito di comprendere in quali frequenze si riescono ad osservare i risultati di analisi più attendibili per avere a disposizione dati funzionali allo scopo e quali ambiti di utilizzo per l’applicazione possono essere esclusi in quanto le funzionalità offerte non sono all’altezza. Entrando più nel particolare, la sperimentazione condotta ha consentito di individuare un range di analisi in frequenza fra i 200 Hz e i 7000 Hz, all'interno del quale si possono notare buoni risultati nella valutazione delle fluttuazioni energetiche. Ambiti di applicazione notturni, dove i disturbi raggiungono livelli attorno i 35 dB, sono stati esclusi in quanto i microfoni montati sugli smartphone non sono in grado di misurarli. I contesti di applicazione sono dunque stati rivalutati: gli sforzi sono stati rivolti a mascherare disturbi a livelli più alti e alla privacy di conversazioni e parlato. Esempi sono l'aiuto allo studio per studenti in contesti affollati e rumorosi, o anche il favorire la concentrazione a lavoratori in uffici dove facilmente vengono distratti da conversazioni o chiamate nelle sale affianco. Al fine di generare suoni di mascheramento del rumore ambientale sullo stesso dispositivo di analisi, è stato implementato un algoritmo basato su un modello psicoacustico. In particolare, è stata ricercata la migliore ottimizzazione dell’algoritmo che consenta l’analisi del segnale in ingresso e la sua elaborazione per ottenere le metriche di equalizzazione in tempi ragionevoli per l’utilizzo da parte degli utenti. Il tutto è stato implementato in maniera nativa su iOS, sfruttando le Core Audio API per ottenere un controllo più diretto e ottimizzato dell’hardware del dispositivo. Il risultato dell’elaborazione è un’equalizzazione del suono che, riprodotto attraverso cuffie o altoparlanti, va a mascherare il disturbo nel contesto di analisi. Il disturbo trattato dall’applicazione non è solo relativo al rumore ambientale, ma anche al parlato. Un aspetto fondamentale per il buon utilizzo dell’applicazione e il raggiungimento dello scopo è il mantenimento della qualità percettiva. I suoni di mascheramento generati dovranno infatti andare a rilassare l’ascoltatore oltre a fornire la rimozione del disturbo. In particolare, con l'obiettivo di trovare quali suoni di mascheramento riuscissero a rilassare maggiornmente gli utenti, è stata condotta una ricerca bibliografica nell'ambito della psicologia. Quello che è emerso è che suoni provenienti dalla natura (come la pioggia, le onde, o lo scorrere dell'acqua) esprimono i migliori risultati nel rilassare l'ascoltatore e aiutarlo a concentrarsi in situazioni di stress. Un altro grande vantaggio nell'uso di questi suoni è dato dalla loro forma spettrale, essendo molto piatta e simile a quella di un rumore bianco, offrono forti potenzialità nell'essere agilmente modificati da un'equalizzazione. Queste osservazioni hanno portato alla scelta proprio di questi suoni come tracce da proporre all'utente nella fase di riproduzione del segnale di mascheramento. In seguito verrà approfondito il tema del mantenimento della piacevolezza d’ascolto e come migliorare il suono generato in modo da non snaturarlo, pur non compromettendo le sue proprietà mascheranti. A tal fine vengono presentati due metodi, uno basato sulla tonalità del segnale disturbante che va a comandare un filtro in fase di equalizzazione, l’altro sul rapporto in guadagno tra livelli contigui che consente di mantenere la naturalezza del suono. Infine verranno presentati i risultati di un questionario posto a 11 utenti che hanno valutato l’applicazione dal punto di vista della capacità di mascheramento e della piacevolezza d’ascolto, sia per disturbi ambientali che per privacy delle conversazioni.