A perceptual evaluation of sound field reconstruction algorithms

Virtual and augmented reality applications require spatial audio to increase user engagement in a simulated environment. Sound field reconstruction techniques are employed to simulate audio in a closed space, whose performance need to be evaluated. This thesis aims to evaluate which sound field reconstruction method is the most suitable to be used in technologies that emulate reality, that are virtual 3D environments. Until now these techniques have been evaluated through objective metrics. In this work we want to submit these techniques to a perceptual analysis, able to provide information on the performance of the proposed method by subjective measurements. The perceptual analysis focuses on the quality of the reconstructed sound field and the immersiveness it offers the user, in relation to the environment in which he/she navigates. The user is presented with different scenarios in which the characteristics of the simulated environment vary and, consequently, the sound field generated in relation to the elements that make up the sound scene changes. The evaluation of the reconstructed signal with the methods described in this paper is carried out by means of objective and subjective measurements. These assessments are then compared to check if there is compatibility between the findings and determine the accuracy of each reconstruction method. The objective analysis focuses on the distance between the signal reconstructed along a defined path made up of virtual microphones and the signal that would actually be acquired by physical microphones in the same positions. As for the subjective analysis, a listening test is carried out for the perceptual evaluation of the sound field. The listening tests employed are based on the MUSHRA test, to make a direct comparison between the different reconstruction methods. The playback system used in the test allows us to have a visual reference to identify the position of the listener in the room, and therefore the position of the signal generated in the various moments of time (the listener moves along the predefined path for all the duration of the signal). The results obtained from the comparison between objective and subjective analysis according to the different scenarios show that, regardless of the characteristics of the environment, some spatial audio reconstruction techniques are able to simulate the immersivity of the listener in the virtual environment with more precision than others.

Le applicazioni di realtà virtuale e aumentata necessitano di audio spaziale per aumentare il coinvolgimento degli utenti in un ambiente simulato. Le tecniche di ricostruzione del campo sonoro sono impiegate per simulare l’audio in uno spazio chiuso, le cui prestazioni devono essere valutate. Questa tesi mira a valutare quale metodo di ricostruzione di un campo sonoro sia il più adatto da impiegare in tecnologie che emulano la realtà, cioè ambienti 3D virtuali. Fino ad ora queste tecniche sono state valutate per mezzo di metriche oggettive. In questo elaborato vogliamo sottoporre queste tecniche ad un’analisi percettiva, in grado di fornire informazioni sulle prestazioni del metodo impiegato da misure soggettive. L’analisi percettiva si concentra sulla qualità del campo sonoro ricostruito e sull’immersività che offre all’utente, in relazione all’ambiente in cui naviga. All’utente vengono presentati diversi scenari in cui variano le caratteristiche dell’ambiente simulato e, di conseguenza, varia il campo sonoro generato in relazione agli elementi che compongono la scena sonora. La valutazione del segnale ricostruito con i metodi esposti in questo elaborato avviene per mezzo di misure oggettive e soggettive. Queste valutazioni vengono successivamente confrontate per verificare se vi è compatibilità tra i risultati e determinare l’accuratezza di ciascun metodo di ricostruzione. L’analisi oggettiva si concentra sulla distanza tra il segnale ricostruito lungo un percorso definito con microfoni virtuali ed il segnale che verrebbe effettivamente acquisito da microfoni fisici nelle stesse posizioni. Per quanto riguarda l’analisi soggettiva, viene realizzato un test di ascolto per la valutazione percettiva del campo sonoro. I test di ascolto impiegati si basano sul MUSHRA test per attuare un confronto diretto tra i diversi metodi di ricostruzione. Il sistema di riproduzione usato nel test permette di avere un riferimento visivo per individuare la posizione dell’ascoltatore nella stanza, e dunque la posizione del segnale generato nei vari istanti di tempo (l’ascoltatore si muove lungo il percorso predefinito per tutta la durata del segnale). I risultati ottenuti dal confronto tra analisi oggetiva e soggettiva al variare di diversi scenari dimostrano che, a prescindere dalle caratteristiche dell’ambiente, alcune tecniche di ricostruzione dell’audio spaziale sono in grado di simulare l’immersività dell’ascoltatore nell’ambiente virtuale con più precisione rispetto ad altre.