A geometrical method of 3D sound spatialization for virtual reality applications

In the last decades, Virtual Reality systems have been strongly devel- oped becoming increasingly relevant especially in the gaming industry. Recently, these technologies have been investigated also in industrial ap- plications such as manufacturing and security. For these systems to be usable and intuitive, they must create immersivity, i.e. the sense of pres- ence in the scene. In this scenario, this thesis aims at developing a sound rendering en- gine for 3D virtual environments. Specifically, the proposed methodology relies on the geometrical approach called beamtracer [1] that describes the branching of bundles of rays (beams) in their acoustic paths as they en- counter reflectors. This beamtracer builds the visibility diagram that is used by the engine to know whether and on which path the listener is seen by the source and subsequently to propagate the sound signal. This way the beamtracer can be employed as a real-time acoustic rendering engine that can handle specular reflections in complex scenes. With respect to the previous work [2], in this work are modeled and subsequently rendered also the first-order diffusive reflections, i.e. sound field components that are spread in every directions by the reflector. Specifically, the radiosity[3] method, inherited from Computer Graphics, has been adapted for the computation of the diffusive components of the sound field incident on the reflectors in the scene. The proposed algorithm has been implemented in a VR demo using the HTC Vive device and Unity3D game engine. Through the demo, per- ceptual tests have been performed in order to validate the user’s ability of locating the sound source, thus improving the immersivity in the scene. Most of the subjects have been able to accurately locate the source. Addi- tionally, the preliminary results suggest that having included the diffusive component of the synthetized sound field help the sense of presence in the virtual environment.

Nell’ultimo decennio, i sistemi di Realtà Virtuale hanno assunto un’ ele- vata rilevanza soprattutto nell’ industria videoludica. Queste tecnologie trovano applicazioni anche in altri ambiti industri- ali, manufatturieri e di security. Questi sistemi, garantiscono all’utilizzatore un elevato senso di pre- senza nella scena virtuale. In questo scenario, questa tesi mira a sviluppare un motore di ren- dering audio per ambienti virtuali 3D. Nello specifico, la metodologia proposta si basa su un approccio geometrico chiamato Beamtracer[1], che descrive la ramificazione di fasci di raggi (beams) nei loro percorsi acustici quando incontrano riflettori. Questo Beamtracer costruisce il diagramma di visibilità che viene utilizzato dal motore per sapere se, e su quale percorso, l’ascoltatore è visto dalla sorgente e successivamente a propagare il segnale sonoro. In questo modo il Beamtracer può essere utilizzato come un motore di rendering acustico in tempo reale, in grado di gestire riflessi speculari in scene complesse. Rispetto a quanto fatto in precedenza[2], in questo lavoro sono model- lati anche i riflessi diffusivi del primo ordine, cioè le componenti del campo sonoro diffuse in ogni direzione dopo una collisione con un riflet- tore. Nello specifico, il metodo di radiosity[3], ereditato da Computer Graphics, è stato adottato per il calcolo delle componenti diffusive del campo sonoro incidente sui riflettori nella scena. L’algoritmo proposto è stato implementato in una demo VR utiliz- zando il dispositivo HTC Vive in ambiente di sviluppo Unity3D. Attraverso la demo, sono stati eseguiti test percettivi per validare la capacità dell’utente di localizzare la sorgente sonora, migliorando così l’immersività nella scena. La maggior parte dei soggetti è stata in grado di localizzare accuratamente la fonte. Inoltre, i risultati preliminari sug- geriscono che l’inclusione della componente diffusa del campo sonoro sin- tetizzato aiuti il senso di presenza nell’ambiente virtuale.