Multiple camera plenacoustic imaging : estimation of the radiation pattern of an acoustic source

Acoustic musical instruments are characterized by their own specific way of interacting with the sourrounding environment. A variety of different studies have been and are still being made on the nature of this interaction, on how it translates into musical, physical and perceptual terms. The purpose of this work is to devise a system that estimates the radiation pattern of an instrument, which is the function that describes the angular dependence of the energy it radiates, and constitutes one of the most important aspects of its peculiar interaction with the environment. In particular, we aim at designing a system that relies on multiple Plenacoustic Cameras, devices composed by a set of synchronized microphones that are capable, by means of a series of analytic tools, of measuring the soundfield, parameterize it and assess the features of the acoustic scene. We take as a starting point a system developed in 2013 at the Image and Sound Processing Group of Politecnico di Milano: in that work, the estimation is performed by using a single plenacoustic camera and a separate system for tracking the instrument position and orientation in space while it is played by a musician. The founding idea of our work is that the technique can be improved by adding a second camera, in order to allow the musician to move in a more natural way as well as to shorten the acquisition process. With this thesis we intend to further explore the potentialities of plenacoustic analysis and study how the addition of a second camera impacts on the existing plenacoustic techniques, and how the interaction between multiple cameras can be exploited to design a self-contained system that is capable of both measuring the radiation pattern and estimate the instrument position in space. We present the formal extension of the existing single-camera pleancoustic techniques to the multiple-camera scenario, as well as the localization, calibration and radiation pattern measurement techniques that we have devised to address the problem at hand.

Gli strumenti musicali acustici sono caratterizzati dallo specifico modo con cui interagiscono con l’ambiente circostante. Diversi studi sono stati e sono tutt’ora fatti sulla natura di questa interazione, su come questa si traduce in termini musicali, fisici e percettivi. Lo scopo di questo elaborato è definire un sistema che stimi il pattern di radianza di uno strumento, che è la funzione che descrive la dipendenza angolare dell’energia che questo irradia, e che costituisce uno degli aspetti più importanti della sua caratteristica interazione con l’ambiente. In particolare, il nostro scopo è progettare un sistema che lavori con più camere plenacustiche, dispositivi composti da una griglia di microfoni sincronizzati in grado, per mezzo di una serie di strumenti analitici, di misurare il campo sonoro, parametrizzarlo e determinare le caratteristiche della scena acustica. Prendiamo come punto di partenza un sistema sviluppato nel 2013 presso l’Image and Sound Processing Group del Politecnico di Milano: in quel lavoro, la stima è effettuata usando una singola camera plenacoustica e un sistema separato per stimare la posizione nello spazio e l’orientamento dello strumento mentre viene suonato da un musicista. L’idea fondamentale del nostro lavoro è che la tecnica può essere migliorata aggiungendo una seconda camera, in modo tale da permettere al musicista di muoversi in maniera più naturale e rendere più veloce il processo di acquisizione. Con questa tesi intendiamo esplorare più a fondo le potenzialità dell’analisi plenacustica, studiando come l’aggiunta di una seconda camera influenza le tecniche plenacustiche esistenti, e come l’interazione fra più camere può essere sfruttata per progettare un sistema autosufficiente, in grado sia di misurare il pattern di radianza che di stimare la posizione dello strumento. Presentiamo l’estensione formale al caso multi camera delle esistenti tecniche plenacustiche a camera singola, così come le tecniche di localizzazione, calibrazione e stima del pattern di radianza che abbiamo studiato per affrontare il problema in analisi.