Phylogenetic analysis of video sequences

In the last few years, with the rapid proliferation of inexpensive hardware devices and the increasing popularity of the Internet and social media, we have witnessed an exponential growth in the creation and redistribution of digital content. Specifically, once one image or video is posted online by a user, it can easily go viral, being republished by many others on different channels and platforms on the Web. Therefore, a significant fraction of multimedia content available online is not originally acquired by contents creators. Additionally, the ever increasing availability of powerful and user-friendly editing software allows anyone to easily modify multimedia objects, thus creating new contents by editing and reusing already existing material. This process gives birth to near-duplicate objects, i.e., similar but not identical copies of the original files. Multimedia phylogeny is a relatively new research field that aims to jointly analyse pools of near-duplicate objects, instead of single instances of the same object separately, in order to infer how these near-duplicates are related to each other and study their provenance. This kind of analysis has immediate applications in the forensic field. As an example, it paves the way to the development of more effective copyright infringement analysis tools. Moreover, it enables forensic analysts to identify the main responsible for the diffusion of illegal material. Although many solutions for still images have been developed in the last few years, approaches to jointly studying related video sequences are still at their early stages. Therefore, in this thesis we develop a set of tools that enable the joint analysis of multiple related videos for phylogeny applications. To this purpose, we first focus on solving two primary yet paramount problems for video phylogeny analysis: detection of near-duplicate videos and their temporal synchronization. We first propose a method that addresses these problems in a simplified framework in which only near-duplicate videos or unrelated ones are considered. Then we extend the proposed algorithms in order to jointly detect and temporally align near-duplicate videos together with sequences depicting the same scene from different viewpoints, i.e., semantically similar videos. After providing these basic tools for video detection and synchronization, we show how to exploit them as building blocks for more complex applications in the video phylogeny scenario. First we propose a method that, starting from the analysis of a pool of near-duplicate videos, reconstructs an estimate of the original source video used to generate them. This approach allows us to study how content is reused and to recover original content when it is no longer available. The second developed application retrieves the causal relationship between video pairs within a pool of near-duplicate videos, and represents them by means of a phylogeny tree. This is done by taking inspiration from biology studies and assimilating the process of videos changing into different versions over time to the mutation of living organisms. This application allows us to assess the authenticity of a video content and identify its origin. This possibility plays an important role in the detection of copyright and patent violations or in investigations regarding the diffusion of illegal material (such as child pornography, cyber bullying or terroristic propaganda). The developed algorithms contribute to the widening panorama of multimedia phylogeny, representing a first step towards the analysis of video sequences. In order to validate the proposed approaches, a set of experiments on real video sequences has been carried out. Moreover, also some use-cases on video sequences downloaded from YouTube have been analysed to prove the effectiveness of our approaches in a real-world scenario.

Negli ultimi anni, grazie alla rapida diffusione di smartphone a basso costo da un lato, e alla sempre maggior accessibilità di Internet e dei social media dall'altro, abbiamo assistito a una crescita esponenziale della creazione e ridistribuzione di contenuti digitali. In particolare, un'immagine o un video pubblicati online da un utente possono essere facilmente ripresi e ripubblicati da altri utenti su diverse piattaforme, divenendo così virali. Pertanto, una porzione sempre più significativa dei contenuti multimediali disponibili online non è originalmente acquisita dall'utente che la condivide. Inoltre, grazie al diffuso utilizzo di software per la modifica di contenuti digitali, nuovi contenuti multimediali possono essere facilmente creati apportando modifiche a materiale già esistente. Questo processo permette di generare immagini e video simili agli originali, ma non esattamente identici, che prendono il nome di near-duplicate. Multimedia phylogeny è un campo di ricerca relativamente nuovo il cui fine è analizzare un insieme di immagini o video near-duplicate in maniera congiunta e simultanea, piuttosto che i singoli contenuti separatamente, al fine di risalire a come i near-duplicate siano legati gli uni agli altri e studiarne la provenienza. Questo tipo di analisi ha applicazioni immediate nel campo forense. Per esempio, multimedia phylogeny apre la strada allo sviluppo di strumenti di analisi più efficaci per l'individuazione di violazioni del copyright e permette di identificare il principale responsabile della diffusione di materiale illegale. Sebbene di recente siano state sviluppate diverse soluzioni per l'analisi filogenetica di immagini, lo studio e l'applicazione di queste tecniche all'ambito video sono ancora in una fase iniziale. Questa tesi si inserisce nello scenario appena descritto, proponendo una serie di strumenti appositamente sviluppati per applicazioni filogenetiche che consentono l'analisi congiunta di più video near-duplicate. Nello specifico, la tesi si apre affrontando due problemi di primaria importanza per l'analisi filogenetica di video: il riconoscimento di video near-duplicate e la loro sincronizzazione temporale. In prima istanza, affrontiamo i due problemi in uno scenario semplificato che prevede solamente la presenza di video near-duplicate o video che rappresentano contenuti completamente differenti. Successivamente, gli algoritmi proposti sono estesi al caso in cui si voglia individuare a allineare temporalmente sia video near-duplicate, sia video con lo stesso contenuto semantico, cioè video raffiguranti la stessa scena ma da punti di vista differenti. Dopo aver fornito gli strumenti base per il riconoscimento e la sincronizzazione di video near-duplicate, mostriamo come questi possano essere impiegati nella costruzione di applicazioni più complesse per l'analisi filogenetica di video. Innanzitutto proponiamo un metodo che, partendo dall'analisi di un insieme di video near-duplicate, ricostruisce una stima del video originale da cui i near-duplicate sono stati inizialmente estratti. Questa tecnica permette di studiare come i contenuti video si diffondano e siano riutilizzati, oltre a fornire una ricostruzione del video originale non più disponibile. La seconda applicazione che proponiamo deriva le relazioni causali di un insieme di video near-duplicate e le rappresenta tramite un albero genealogico. L'idea alla base trae ispirazione dal mondo della biologia: il modo in cui un video può essere modificato dando vita a diverse sue versioni near-duplicate può essere assimilato al processo di mutazione degli organismi viventi. Questa applicazione ci permette di valutare l'autenticità di un contenuto video ed identificarne l'origine, pertanto ha un ruolo importante nella protezione di copyright e brevetti, così come nelle indagini riguardanti la diffusione di materiale illegale (come la pornografia infantile, bullismo o di propaganda terroristica). Gli algoritmi sviluppati contribuiscono ad ampliare il panorama delle tecniche di multimedia phylogeny, rappresentando un primo passo verso l'analisi di sequenze video. Per validare le tecniche proposte sono stati condotti diversi esperimenti su video reali. Inoltre, in alcuni casi abbiamo utilizzato gli algoritmi presentati per analizzare video scaricati da YouTube, dimostrando così la loro efficacia in uno scenario reale.