VR-PTOLEMAIC: a framework for the subjective assessment of spatial audio algorithms in virtual environments

The perceptual evaluation of spatial audio algorithms is an important step in the development of immersive audio applications, as it ensures that the perceived sound field meets quality standards in terms of listening experience, spatial perception and auditory realism. To support these evaluations, virtual reality can offer a powerful platform by providing immersive and interactive testing environments. In this research work, we present VR-PTOLEMAIC, a virtual reality evaluation system designed for assessing spatial audio algorithms. The proposed framework applies the established sound quality evaluation methodologies into virtual reconstructions of real-world environments. By means of a head-mounted display and headphones, users can virtually explore a listening environment and subjectively evaluate spatial audio algorithms processed in real-time, taking advantage of the head-tracking capabilities of the VR system. In particular, two different case scenarios with different characteristics have been implemented and tested: a teleconferencing scenario in a seminar room and a live music concert in a chamber music hall. We evaluated the usability of the evaluation system through a preliminary testing campaign and a real use case in which assessors were asked to compare the reconstruction capabilities of various sound field reconstruction algorithms. Results show that the VR platform effectively supports the assessment of spatial audio algorithms, with generally positive feedback on user experience and immersivity.

La valutazione percettiva di algoritmi di spazializzazione audio costituisce una fase cruciale nello sviluppo delle applicazioni audio immersive, in quanto consente di garantire che il campo sonoro percepito rispetti elevati standard di qualità in termini di esperienza d’ascolto, percezione spaziale e realismo uditivo. A tal fine, la realtà virtuale può rappresentare una piattaforma efficace, fornendo ambienti di test immersivi e interattivi. In questa tesi viene presentato VR-PTOLEMAIC, un sistema di valutazione in realtà virtuale progettato a supporto dell’analisi e del confronto di algoritmi di audio spaziale. Il framework proposto integra metodologie consolidate di valutazione della qualità sonora all’interno di ricostruzioni virtuali di ambienti reali. Attraverso un visore e delle cuffie, gli utenti hanno la possibilità di esplorare virtualmente lo spazio d’ascolto durante la valutazione soggettiva di algoritmi di audio spaziale e, grazie alle capacità di tracciamento del movimento del sistema VR, il processamento del campo sonoro avviene in tempo reale. In particolare, sono stati implementati e testati due possibili scenari reali, caratterizzati da differenti proprietà acustiche: una teleconferenza in un’aula per seminari ed un concerto dal vivo in un auditorium. Le performance del metodo di valutazione sono state verificate mediante una campagna preliminare di test e, successivamente, in uno scenario applicativo reale in cui è stato richiesto agli utenti di confrontare le capacità di ricostruzione di diversi algoritmi di ricostruzione del campo sonoro. I risultati indicano che la piattaforma VR supporta in modo efficace la valutazione di algoritmi di audio spaziale, ricevendo riscontri positivi in termini di esperienza d’uso e grado di immersività.