A phylogenetic analysis of near duplicate audio tracks

In the last two decades we have witnessed an exponential growth in creation and redistribution of digital content. Thanks to the ever increasing popularity of the internet and social networking, it is now extremely easy to access, modify and share multimedia data through numerous platforms, either lawfully or not. This process often involves only slight data alterations, which generate similar, but not identical, copies of the original files, named near-duplicates. Frameworks for the detection of such files have been researched and developed for the various kinds of media; focusing on the audio case, the thesis proposes a system that goes beyond the recognition step, performing a content-based analysis for sets of near-duplicate audio tracks that aims at reconstructing the structure of evolution underneath them, possibly identifying the editing operations carried out. Such structures are visualized with the help of phylogeny trees, which represent with great effectiveness hierarchical relationships and evolution paths: merging the two contexts eventually leads to audio phylogeny trees (APT), in which elements are constituted by tracks and links by applied transforms. A pilot study is carried out for a restricted set of potentially performed operations, in a controlled environment which randomly generates structures (trees) starting from a root track. Using only the audio vector information, mutual similarity of the data is exploited and combined in a matrix on which operates an efficiently implemented reconstruction algorithm, devised from graph theory applications. Performances regarding the capability of the system to rebuild the original structure are tested for full original trees and for cases in which some pieces of information are missing, with a specific scenario that includes main root removal. Good results are globally claimed.

Negli ultimi due decenni abbiammo assistito ad una crescita esponenziale della creazione e distribuzione di contenuti digitali. Grazie alla sempre crescente popolarità di internet e dei social network, è ormai estremamente semplice accedere, modificare e condividere dati su numerose piattaforme, legalmente e non. Questo processo spesso implica modifiche solo marginali dei dati, che danno origine a duplicati simili, ma non identici, dei file originali, che prendono il nome di near-duplicates. Tecniche per il rilevamento di questo tipo di file sono state oggetto di ricerca e sviluppo per tutti i vari tipi di media; focalizzando l'attenzione sul caso dell'audio, la tesi propone un sistema che mira ad andare oltre la fase di riconoscimento, attuando un'analisi di tipo content-based su set di near-duplicates audio per la ricostruzione della struttura di evoluzione che lega tali tracce, possibilmente identificando le operazioni eseguite. Per visualizzare efficacemente tali strutture sono stati utilizzati gli schemi propri degli alberi filogenetici, che riescono a rappresentare con grande efficacia relazioni gerarchiche e percorsi evolutivi: fondendo i due campi è possibile parlare di audio phylogeny trees (APT), in cui i nodi rappresentano le tracce audio e i rami che li legano indicano le operazioni di editing applicate. La tesi illustra un caso studio realizzato utilizzando un set limitato di operazioni potenzialmente applicabili, in un contesto controllato in cui vengono generate casualmente delle strutture a partire da una traccia principale (la radice dell'albero). Sfruttando unicamente i vettori audio, vengono applicate misure di similarità fra tutte le tracce, poi combinate in una matrice globale, sulla quale va ad operare un algoritmo di ricostruzione derivato da applicazioni relative alla teoria dei grafi. La capacità del sistema di ricostruire correttamente la struttura originaria è stata verificata, con buoni risultati, sia per strutture complete che per casi in cui erano stati rimossi alcuni nodi, con una specifica modalità che prevedeva la rimozione della radice.