A unified framework for acoustic scene analysis, synthesis and processing

This thesis proposes a unified framework that acts as a fundamental structure for a wide range of acoustic signal analysis, synthesis, and processing tasks. The framework emerges as a novel system of concepts and methods that encompasses the most recent advances in signal processing theory for a twofold purpose. From one point of view it provides the foundation for the design and the evaluation of new signal processing techniques based on conventional acoustic field representations; from the other point of view, it provides the required level of abstraction to introduce a novel representation of acoustic fields, based on the idea of decomposing them into a set of spatially confined wave objects. This thesis pursues both this purposes. Conventional representations of acoustic field (in terms of, e.g., plane waves, spherical waves, etc.) provide a solid foundation for a wide range of acoustic signal processing tasks. Based on them, many techniques have been presented over the decades to solve a variety of problems. In this thesis, we interpret the representation of acoustic fields in terms of plane waves as an instance of multi-dimensional Fourier analysis. This interpretation is at the core of many techniques proposed in this thesis, as it supports the adoption of state-of-the-art signal processing techniques for the purpose of acoustic field analysis and synthesis. Moreover, the plane-wave representation leverages on a strong geometrical intuition: in this model, sound propagation is considered to occur along straight lines, referred to as acoustic rays. This fact enables the immediate understanding of several mechanism of acoustic propagation just employing basic geometric reasoning. However, the plane-wave representation of acoustic fields is known to be, to some extent, limited: for instance, acoustic fields generated by near field sources are not conveniently represented by the superposition of plane waves. Therefore, a more general representation, allowing us to overcome the limitations of ray-based models, is in order. In this thesis, we define new elementary functions, referred to as beams, which are conceived as bundles of acoustic rays. Contrary to plane waves, which act as global descriptors for acoustic fields (since their spatial extension is infinite), beams are spatially confined; hence, the provide a local description of acoustic quantities. Fourier theory shows its limits when trying to describe local phenomena. To overcome this limitation, in this thesis we embrace the mathematical theory of Gabor frames, which allows us to introduce a new representation of acoustic fields using beams as elementary constituents; this representation is referred to as plenacoustic representation and it parametrizes the acoustic field in terms of both spatial location and direction of propagation. In this setting, we derive a full-fledged plenacoustic transform that embeds the concept of a signal decomposition in the plenacoustic representation. Thereafter, it emerges a promising global framework, in which acoustic fields are represented in a rigorous but extremely flexible and intuitive fashion. In evidence of this fact, in this thesis we propose techniques that, in our vision, will advance the state of the art of acoustic signal processing.

In questa tesi viene proposto un quadro concettuale che consente di unificare una varietà di operazioni di analisi, sintesi ed elaborazione di segnali acustici. Questo quadro concettuale è un sistema innovativo di concetti e metodi, e fa proprie le più recenti acquisizioni nell'ambito della teoria dell'elaborazione dei segnali con un duplice obiettivo: da un lato, infatti, fornisce i fondamenti per il progetto di nuove tecniche di elaborazione dei segnali basate su rappresentazioni convenzionali dei campi acustici; dall'altro, fornisce un livello di astrazione adeguato per introdurre nuove rappresentazioni di campi acustici, basate sull'idea di scomporre i campi in un insieme di oggetti d'onda confinati spazialmente. Partendo dalle rappresentazioni convenzionali dei campi acustici (in termini, ad esempio, di onde piane, onde sferiche, etc.), che forniscono un solido fondamento per molte recenti tecniche di elaborazione dei segnali acustici, in questa tesi si interpreta la rappresentazione dei campi acustici in termini di onde piane come un'istanza dell'analisi di Fourier multidimensionale. Questa interpretazione è centrale in molte tecniche proposte in questa tesi, dal momento che supporta l'adozione delle più innovative ed efficienti tecniche di elaborazione dei segnali con lo scopo di analizzare e sintetizzare campi acustici. Inoltre, la rappresentazione in onde piane fa leva su una forte intuizione geometrica: in questo modello, la propagazione del suono è descritta tramite rette, dette raggi acustici. Questo consente la comprensione immediata di molti meccanismi di propagazione acustica, utilizzando solamente ragionamenti geometrici basilari. Tuttavia, la rappresentazione di campi acustici in onde piane è nota per essere, in una certa misura, limitata: ad esempio, i campi acustici generati da sorgenti in campo vicino non sono rappresentati in modo conveniente da una sovrapposizione di onde piane. Per questo motivo, nella tesi viene costruita una rappresentazione più generale, che consente di superare le limitazioni dei modelli basati sui raggi acustici. A questo scopo vengono definite nuove funzioni elementari, dette beam, che sono concepiti come fasci di raggi acustici. Contrariamente alle onde piane, che sono descrittori globali per i campi acustici (dal momento che la loro estensione spaziale è infinita), i beam sono spazialmente confinati, quindi forniscono una descrizione locale delle quantità acustiche. La teoria di Fourier mostra, però, i propri limiti nel cercare di descrivere fenomeni locali. Per superare questa limitazione, in questa tesi si abbraccia la teoria matematica dei frame di Gabor, la quale consente di introdurre una nuova rappresentazione per i campi acustici, utilizzando i beam come elementi costitutivi. Questa rappresentazione è detta rappresentazione plenacustica e parametrizza il campo acustico in termini sia della posizione spaziale che della direzione di propagazione. In questo contesto, si deriva la trasformata plenacustica che realizza il concetto della scomposizione dei segnali acustici nella rappresentazione plenacustica. Da questo emerge un promettente quadro concettuale, in cui le quantità acustiche sono rappresentate in modo rigoroso ma estremamente flessibile e intuitivo. Grazie a ciò, in questa tesi si propongono tecniche che, nelle intenzioni degli autori, avanzeranno lo stato dell'arte dell'elaborazione dei segnali acustici.