Interactive binaural rendering of virtual acoustic scenes

The reproduction of sound events through headphones becoming more and more popular, mainly due to the diffusion of devices like smartphones, mobile digital media players and tablet computers. This modality of private listening enables a limited experience, providing a in-head localized sound without information about the listening environment, that is far away the listening experience of the real life. In order to improve the listening experience, different techniques for rendering a sound in space within a listening environment were investigated. In particular, the efficiency in rendering virtual sound sources over headphones is related to the knowledge of the physical characteristics of the listener, that in real life affect the perception of sounds. The study of such characteristics require invasive and expensive measurement techniques, which produce very accurate (but highly individualized) results. In order to overcome these issues, other methods have been proposed in the literature, aimed at obtaining non-individualized models that do not rely on physical measurements. Even if such models are generally less accurate, they turn to be attractive for several applications. In this thesis we propose a 3D sound system that allows to reproduce one or more virtual sound sources in space, based on a general model of the listener. The proposed system also renders the effect of the virtual environment in which virtual sources are located. This is accomplished by means of a beamtracing technique, which exploits the laws of geometrical acoustics for predicting the impulse responses from the virtual sources to the listener position. The system has been thought in order to provide the user a certain degree of interactivity, giving the tools to explore the environment in which he or she is located. It has been implemented the possibility for the user to move inside a room, choosing a desired listening position, and rotating the head. In order to evaluate the proposed system, we have conducted several perceptual tests, that confirmed some limits of the system in unfavorable conditions (like for example the static ones), while interesting results were shown in conditions of motion of the listener, which turned to enhance the perceived degree of realism. The results allows us to conclude that our system in its simplicity results effective in the exploration of a listening environment and it can be used in place of more expensive methodologies under equal conditions of motion. We can state that the human- computer interaction and the rendering of realistic sounds through headphones are technologies to take into consideration or developing novel and attractive applications.

La riproduzione di eventi sonori tramite cuffie è sempre più usata, anche per via della diffusione di dispositivi come smartphone, riproduttori portatili di contenuto multi- mediale e tablet computer. Questa forma di ascolto privato limita però l’esperienza dell’ascoltatore, proponendogli un suono localizzato all’interno della testa e senza informazioni riguardanti l’ambiente di ascolto, che è ben lontano dall’esperienza che si sperimenta nella vita reale. Al fine di proporre all’utente un suono spazializzato, sono state investigate diverse tecniche che permettono di rendere un suono in una qualsiasi posizione dello spazio all’interno di un ambiente di ascolto. In particolare, l’efficienza nella simulazione di sorgenti sonore virtuali in cuffia è legata alla conoscenza di caratteristiche fisiche dell’ascoltatore, che influenzano nella vita reale l’ascolto da parte delle persone. Lo studio di queste caratteristiche richiede l’utilizzo di tecniche di misurazione costose e invasive, che producono dei risultati molto accurati (ma molto personalizzati). Per superare questi limiti, altri metodi sono stati proposti in letteratura, al fine di ottenere dei modelli non personalizzati che non si affidino a misurazioni fisiche. Anche se questi metodi risultano essere meno accurati, risultano essere interessanti per varie applicazioni. In questa tesi proponiamo un sistema sonoro 3D che permette di riprodurre una o più sorgenti virtuali nello spazio, basate su un modello generale dell’ascoltatore. Il sistema proposto tiene anche in considerazione l’effetto di un ambiente di ascolto nel quale è possibile posizionare delle sorgenti sonore, utilizzando una tecnica basata sull’acustica geometrica (beamtracing), che permette di calcolare, in modo efficiente, l’effetto dell’ambiente sul campo acustico. Infine, il sistema è stato pensato per poter offrire all’utente un certo grado di interattività, fornendogli gli strumenti per poter esplorare l’ambiente nel quale viene posizionato. E` stata dunque implementata la possibilità per l’utente di potersi muovere all’interno della stanza, potendo scegliere un punto di ascolto desiderato, e di poter inoltre muovere la testa. Per ottenere una valutazione soggettiva delle capacità della nostra tecnologia, abbiamo condotto dei test percettivi, che ci hanno confermato alcuni limiti del nostro sistema in condizioni non favorevoli (come ad esempio quelle statiche), mentre risultano interessanti in condizioni di movimento dell’ascoltatore e di realismo offerto. I risultati ci permettono di concludere che il nostro sistema, nella sua semplicità, risulta essere efficace nell’esplorazione di un ambiente di ascolto, potendo essere utilizzato al posto di metodologie più costose a parità di condizione di movimento. Possiamo inoltre affermare che l’interazione uomo-sistema e le simulazioni di suono realistiche tramite cuffia sono tecnologie da seguire e continuare a sviluppare nel corso dei prossimi anni.