Forensic and anti-forensic analysis of the environment based on acoustic clues

The main activities in audio forensics concerns audio evidence authentication, audio recordings enhancement in order to increase intelligibility and sound evidence interpretation such as speaker recognition, dialog transcription or event reconstruction. A relevant aspect of recordings authentication and events reconstruction is related to reverberation. We can measure reverberation using the quantity called RT60, which represents the time needed by sound energy to decay by 60 dB. The knowledge of this quantity can be useful in identifying a room or an environment, but is not sufficient by itself. With the term blind Acoustic Environment Identification (AEI) we refer to the process of identifying and recognizing an environment only by means of an audio signal recorded there without having any information about that environment. It's a mostly unexplored field in literature, and particularly there is only one previous work dealing with robustness of AEI techniques against attacks. The purpose of this work is to evaluate effectiveness of some AEI tools, improving existent ones and proposing new ones, and testing their robustness against attacks aimed at confusing them. Some existent algorithms for RT60 estimation were implemented and used as the basis for the creation of tools for classifications of audio recordings by the environment in which they were taken. Furthermore strategies were proposed and implemented for performances improvement of the only working AEI technique known in literature not based on RT60 estimation, but on mel frequency cepstral coefficient (MFCC) and logarithmic mel spectral coefficient (LMSC). Finally some new classifiers were developed employing fusion techniques. This tools were tested in normal conditions with excellent results. Moreover an attack technique were developed with the goal of confusing classifiers, whom robustness was verified with decent results for some of them.

Le principali attività svolte nell'audio forense comprendono l'autenticazione delle prove, il miglioramento della qualità delle registrazioni per incrementarne l'intelligibilità e l'interpretazione dei suoni intesa come riconoscimento del parlatore, trascrizione dei dialoghi o ricostruzione degli eventi. Un importante aspetto per quanto riguarda l'autenticazione o la ricostruzione degli eventi è legato al riverbero. Possiamo misurare la riverberazione utilizzando la grandezza chiamata RT60, che indica il tempo necessario affinchè l'energia del suono in un ambiente decada di 60 dB. La conoscenza di questa quantità può essere utile per identificare una stanza o un ambiente, ma da sola non è sufficiente. Con il termine blind Acoustic Environment Identification (AEI) ci riferiamo al processo di identificazione e riconoscimento di un ambiente solo attraverso un segnale audio registrato nell'ambiente stesso senza avere nessuna informazione su di esso. Si tratta di un campo quasi inesplorato in letteratura, e in particolare esiste soltanto un precedente lavoro che si occupi della robustezza delle tecniche di AEI nei confronti degli attacchi. Lo scopo della tesi è quello di valutare l'efficacia di alcuni stumenti di AEI, migliorando i metodi esistenti e proponendone di nuovi, e testarne la robustezza nei confronti di attacchi mirati a cofonderli. Sono stati implementati alcuni esistenti algoritmi per la stima dell'RT60 e utilizzati come base per la creazione di strumenti per la classificazione di registrazioni audio sulla base dell'ambiente in cui sono state effettuate. Inoltre sono state proposte e implementate strategie per il miglioramento delle prestazioni dell'unica tecnica di AEI funzionante descritta in letteratura non basata sulla stima dell'RT60, ma sull'estrazione di mel frequency cepstral coefficient (MFCC) e logarithmic mel spectral coefficient (LMSC). Infine sono stati sviluppati dei nuovi classificatori con l'utilizzo di tecniche di fusione. Questi strumenti sono stati testati in condizioni normali con ottimi risultati. Inoltre è stata sviluppata una tecnica di attacco con l'obiettivo di confondere i classificatori, di cui è stata verificata la robustezza con risultati discreti per quanto riguarda alcuni di essi.