Accelerating object obstacle simulation in 3D audio on embedded systems

3D audio (also known as audio spatialization) aims at reproducing the real-life experience of perceiving sound sources moving and interacting with the surrounding environment in common audio systems, such as headphones and loudspeakers. 3D audio has gained relevant importance in many industries, from music to cinema and films, from videogames to hearing aids for visually impaired people. Audio spatialization is a complex task: it has its roots both in the engineering, artistic and psychological fields. Due to the multi-faceted nature of the problem, designing and evaluating a 3D audio system should take into account both the objective (numerical errors and precision) and the subjective (listening/user experience) parts of the problem. Moreover, audio spatialization is only a part of the real world acoustic scenario; humans rely extensively on the sound interaction with passive objects, such as obstructions (e.g. doors, walls). The introduction of real-time objects simulation on top of the audio spatialization is an extremely intensive computational task. Because of such complexity, most of the currently available 3D audio systems rely upon centralized powerful computers and hours of pre-computation to achieve good sound quality, real-time performances and sound interaction with objects. To address this problem, this work proposes a hardware co-processor to accelerate real-time passive object simulation and spatialization directly on embedded edge devices, removing the need for pre-computed audio channel rendering. Our methodology tackles three different problems: first, simulate objects in resource-constrained systems; second, spatialize audio sources in real-time; third, split the processing tasks between CPU and co-processor to maximize the performance. Our approach has been tested both numerically and psychoacoustically. Firstly, the operational limits of the co-processor are investigated; secondly, extensive listening tests are conducted to evaluate the perceived audio quality of the proposed system. Our solution attains similar latency w.r.t. workstations while draining a tenth of the power, making it suitable for embedded applications.

L'audio 3D (noto anche come spazializzazione audio) mira a riprodurre, nei comuni sistemi audio come cuffie e altoparlanti, l'esperienza di percepire sorgenti sonore che si muovono e interagiscono con l'ambiente circostante. L'audio 3D ha acquisito un'importanza rilevante in molti settori, dalla musica al cinema, dai videogiochi agli apparecchi acustici per ipovedenti. La spazializzazione dell'audio è un processo complesso: affonda le sue radici sia nel campo ingegneristico, sia in quello artistico e psicologico. A causa della natura multiforme del problema, la progettazione e la valutazione di un sistema audio 3D dovrebbe tenere conto sia le componenti oggettive (errori numerici e precisione) che soggettive (ascolto/esperienza dell'utente) del problema. Inoltre, la spazializzazione dell'audio è solo una parte dello scenario acustico del mondo reale; gli esseri umani, infatti, si affidano ampiamente all'interazione sonora con oggetti passivi, che fungono da ostacolo fra la sorgente sonora e l'ascoltatore (es. porte, muri). L'introduzione della simulazione di oggetti (in tempo reale) oltre alla spazializzazione dell'audio è un processo computazionalmente molto complesso. A causa di tale complessità, la maggior parte dei sistemi audio 3D attualmente disponibili si basa su potenti computer centralizzati e ore di pre-calcolo per ottenere una buona qualità del suono, prestazioni in tempo reale e interazione delle sorgenti sonore con oggetti. Per affrontare questo problema, questo lavoro propone un coprocessore hardware per accelerare la simulazione e la spazializzazione di oggetti passivi (in tempo reale) direttamente su dispositivi edge embedded, eliminando la necessità di pre-rendering dell'audio per simulare ostacoli sonori. La metodologia proposta affronta tre diversi problemi: primo, simulare oggetti in sistemi con risorse limitate; secondo, spazializzare le sorgenti audio in tempo reale; terzo, dividere le attività di elaborazione tra CPU e coprocessore al fine di massimizzare le prestazioni. Il nostro approccio è stato testato sia numericamente che psicoacusticamente. In primo luogo, vengono valutati i limiti operativi del co-processore; in secondo luogo, vengono condotti approfonditi test di ascolto per valutare la qualità audio percepita del sistema proposto. La nostra soluzione raggiunge una latenza comparabile a quella delle workstation, consumando un decimo della potenza, rendendola adatta per applicazioni embedded.