Soundfield synthesis using the ray space transform and its application to binaural audio

Processing of acoustic scenes is a research eld that aims at extracting information about a sound eld in order to process it for a variety of purposes, like source extraction, source enhancement, and in general for any kind of spatial ltering. Among the many methods present in literature, the plenacoustic framework addresses this topic by means of the so called plenacoustic function, that extracts the sound- eld's directional information from multiple microphones arranged in a linear fashion. By parametrizing these data in the so called ray space, it is possible to deal with the sound scene in a fast and convenient fashion. In a scenario where we aim not only at analyzing the scene, but also at resynthesizing the array data without any loss of information, a novel technique that operates in the ray space domain can be employed, that is, the Ray Space Transform (RST). This work of thesis proposes a methodology for sound eld rendering in an arbitrary position of the environment, where no microphone was placed to sample the environment. In this way a user could virtually put him/herself somewhere in space, and \observe" the acoustic scene as in a real scenario. We will exploit the plenacoustic representation, in particular by means of the RST to achieve a lossless rendering, and propose a method to refocus the sound eld at the listener position. To account for the modi cations that the listener's anatomy introduces to the sound, we will apply to the refocused portion of the RST a Head Related Transfer Function (HRTF). We will show how it is possible to map such a linear lter in the ray space, in order to use it for sound eld processing of the RST. The frequency ranges where the plenacoustic representation cannot be employed will be treated by other binaural techniques, namely, Interaural Time Di erence and Interaural Level Di erence. Still, the RST happens to be useful also in this case, because any binaural technique requires to know the source position, and source extraction from the RST is easily feasible. The proposed methodology will be validated both by listening tests and by an objective assessment of the RST refocusing capability.

L'elaborazione di scene acustiche si occupa di estrarre le informazioni relative ai campi acustici per diverse applicazioni, come l'estrazione di sorgenti acustiche, o in generale per qualsiasi tipo di ltraggio spaziale. Fra le molte tecniche presenti in letteratura, i metodi plenacustici si occupano dell'analisi del campo sonoro per mezzo della cosiddetta funzione plenacustica, in grado di estrarre le informazioni direzionali del campo tramite una schiera lineare di microfoni. Parametrizzando questi dati nel cosiddetto spazio dei raggi e possibile operare sulla scena acustica in maniera veloce. Se inoltre volessimo ri-sintetizzare i segnali nel dominio geometrico, senza subire alcuna perdita di informazione, potremmo fare uso di una nuova tecnica che opera nello spazio dei raggi, la Ray Space Transform (RST). In questo lavoro di tesi proponiamo un metodo di sintesi dei campi acustici in una posizione arbitraria dell'ambiente analizzato, nella quale non era presente alcun microfono in fase di acquisizione. In questo modo l'utente pu o posizionarsi in tale punto e \osservare" la scena acustica che gli si presenterebbe nello scenario reale. Per fare ci o verr a sfruttata la rappresentazione plenacustica, in particolare utilizzando la RST per ottenere un rendering privo di perdite, e proporremo un metodo per ri-focalizzare il campo sonoro nella posizione dell'ascoltatore. Per tenere conto delle modi che che l'anatomia dell'ascoltatore introduce sul suono, alla porzione ri-focalizzata del campo verr a applicata la Head Related Transfer Function (HRTF). Si mostrer a come sia possibile mappare tale ltro lineare nello spazio dei raggi, operazione necessaria per poter processare la RST. Gli intervalli di frequenze per i quali la rappresentazione plenacustica non presenta un comportamento ideale verranno trattati con altre tecniche binaurali, in particolare si applicheranno Interaural Time Di erence e Interaural Level Di erence. Anche in questo caso, tuttavia, la RST si rivela un utile strumento: per applicare qualunque tecnica binaurale, infatti, e necessario conoscere l'angolo di arrivo della sorgente, informazione facilmente estraibile dalla RST. La metodologia proposta verr a validata sia attraverso test percettivi che valutando la capacit a di ri-focalizzazione del campo sonoro della RST.