Characterization of the directivity patterns of musical instruments using multiple similarity metrics

Recently, the research area of spatial audio has gained much attention for its application within Virtual Reality (VR) and Augmented Reality (AR) applications. To allow VR/AR users to realistically interact with sound sources in the virtual environment, we study directivity that allows VR/AR users to "correctly" perceive sound sources. The directivity is a function that describes the directional- and frequency-dependence of sound radiation from sound sources. The developments of AR/VR applications that require directivity models, also prompt new directivity databases. Hence, it is necessary to study directivity similarity to effectively index, query, and navigate directivity data entries. Analyzing such data in order to summarize the characteristics of measured directivity is a complex task due to the frequency and spatial dependence thereof. Although previous research works have proposed various similarity metrics that capture the directional characteristics of the instruments in intuitive fashions, they are usually limited to single aspects or applied to single types of acoustic sources, i.e., musical instruments or loudspeakers. We are not aware of a comprehensive approach that quantifies multiple aspects of the directivity on multiple classes of sound sources. In this thesis, we propose the \textit{Composite Directivity Metric} which characterizes general sound source directivities data that were obtained from multiple researchers using different measurement setups. We define multiple metrics that quantify the dissimilarities between sound source directivity patterns and apply these metrics to a publicly available database consisting of 41 musical instruments' directivity data. The results show that certain metrics averaged across frequency bands are highly correlated in describing differences between directivities data. We can also identify clusters of musical instruments, in agreement with previous results obtained by visual inspection, or under limited frequency ranges. We also analyze the effect of sound level on individual metrics by observing the metric values calculated under different dynamics. Finally, by combining the averaged metric values with Multidimensional Scaling (MDS) techniques, we project sound source directivities as points in low-dimensional Euclidean spaces. Generally, we can visualize the relative similarities between datasets and the clustering of sound sources with MDS and dendrogram. We foresee that these results will pave the way to the development of analytical and general frameworks for sound source directivities data.

Recentemente, l'area di ricerca dell'audio spaziale ha guadagnato molta attenzione per la sua applicazione nella Realtà Virtuale (VR) e nella Realtà Aumentata (AR). Per consentire agli utenti di VR/AR di interagire realisticamente con le sorgenti sonore nell'ambiente virtuale, studiamo la direttività che permette agli utenti di VR/AR di percepire "correttamente" le sorgenti sonore. La direttività è una funzione che descrive la dipendenza dalla direzione e dalla frequenza delle radiazioni sonore provenienti da sorgenti sonore. Gli sviluppi delle applicazioni AR/VR che richiedono modelli di direttività, richiedono anche nuovi database di direttività. Di conseguenza, è necessario studiare la somiglianza della direttività per indicizzare, interrogare e navigare efficacemente le voci dei dati sulla direttività. L'analisi di tali dati per riassumere le caratteristiche della direttività misurata è un compito complesso a causa della dipendenza dalla frequenza e dallo spazio. Sebbene i lavori di ricerca precedenti abbiano proposto varie metriche di similarità che catturano le caratteristiche direzionali degli strumenti in modo intuitivo, di solito sono limitate a singoli aspetti o applicate a singoli tipi di sorgenti acustiche, cioè strumenti musicali o altoparlanti. Non siamo a conoscenza di un approccio completo che quantifichi più aspetti della direttività su più classi di sorgenti sonore. In questa tesi, proponiamo la metrica Composite Directivity Metric che caratterizza i dati generali di direttività delle sorgenti sonore, ottenuti da più ricercatori che utilizzano diversi sistemi di misura. Definiamo più metriche che quantificano le dissimmetrie tra i modelli di direttività delle sorgenti sonore e applichiamo queste metriche a un database disponibile pubblicamente, composto da dati di direttività di 41 strumenti musicali. I risultati dimostrano che alcune metriche mediate sulle bande di frequenza sono altamente correlate nel descrivere le differenze tra i dati di direttività. Siamo anche in grado di identificare cluster di strumenti musicali, in accordo con i precedenti risultati ottenuti con l'ispezione visiva, o in intervalli di frequenza limitati. Analizziamo anche l'effetto del livello sonoro sulle singole metriche, osservando i valori delle metriche calcolati con dinamiche diverse. Infine, combinando i valori medi delle metriche con le tecniche di scalatura multidimensionale (MDS), proiettiamo le direttività delle sorgenti sonore come punti in spazi euclidei a bassa dimensione. In generale, possiamo visualizzare le somiglianze relative tra i set di dati e il raggruppamento delle sorgenti sonore con MDS e dendrogramma. Prevediamo che questi risultati apriranno la strada allo sviluppo di quadri analitici e generali per i dati sulle direttività delle sorgenti sonore.