Heterogeneous change detection via image fusion

Change detection based on heterogeneous images is a relevant topic in machine learning and remote sensing, as it concerns the problem of identifying changes in images acquired from different sensors on the same location but at different times. This problem becomes especially challenging when it is addressed in an unsupervised manner. In this thesis we adapted an algorithm that performs image fusion to tackle this problem and we compared the results with more established algorithms. We started conducting extensive research on the methodologies used to address this problem and the datasets available for this task, using optical/infrared and optical/Synthetic aperture radar (SAR) as modalities on which to apply our algorithms. Then we focused on image fusion algorithms, studying how they work and their similarities with the ones used to solve heterogeneous change detection. First, a more established method based on the encoding through Principal Component Analysis (PCA) has been adapted to multi-sensor images and implemented. Then we selected an image fusion algorithm that uses Convolutional Neural Networks (CNNs) to extract features for the image fusion task and we modified it without any re-training or fine tuning to address the heterogeneous change detection problem. The experiments conducted on datasets with different modalities show that this method is able to obtain comparable and superior performance with respect to the algorithm taken as reference.

Il rilevamento del cambiamento basato su immagini eterogenee è un argomento rilevante nel machine learning e nel telerilevamento, poiché riguarda il problema dell'identificazione di cambiamenti tra immagini acquisite da diversi sensori nella stessa posizione ma in istanti temporali diversi. Questo problema diventa particolarmente impegnativo quando viene affrontato in modo non supervisionato. In questa tesi abbiamo adattato un algoritmo di fusione della immagini per affrontare questo problema e abbiamo confrontato i risultati con algoritmi più consolidati. Abbiamo iniziato conducendo ricerche approfondite sulle metodologie utilizzate per affrontare questo problema e sui dataset disponibili per questo compito, utilizzando ottico/infrarosso e ottico/radar ad apertura sintetica (SAR) come modalità su cui applicare gli algoritmi. Quindi ci siamo concentrati sugli algoritmi di fusione delle immagini, studiando come funzionano e le loro somiglianze con quelli utilizzati per risolvere il rilevamento di cambiamenti tra immagini eterogenee. In primo luogo, è stato adattato e implementato un metodo più consolidato basato sulla codifica attraverso l'analisi delle componenti principali (PCA). Successivamente abbiamo selezionato un algoritmo di fusione della immagini che utilizza le reti neurali convoluzionali per estrarre le caratteristiche salienti per l'attività di fusione e lo abbiamo modificato senza alcun riaddestramento o fine tuning per affrontare il problema di rilevamento del cambiamento tra immagini eterogenee. Gli esperimenti condotti su dataset con diverse modalità dimostrano che questo metodo è in grado di ottenere prestazioni comparabili e superiori rispetto all'algoritmo preso come riferimento