Synthetic data augmentation for illegal landfill detection in remote sensing images

Illegal landfills represent a serious health threat due to the numerous pollutants they may release through leachate or combustion fumes. Therefore, they must be detected as soon as possible and action must be promptly taken to appropriately dispose of their waste. For these reasons, the European Union recently launched the PERIVALLON project, which this thesis is part of, aimed at exploring AI-based solutions to counteract this phenomenon and its related crimes. Within this context, Computer Vision approaches have already proven promising for solving different tasks, such as illegal landfill detection via remote sensing images, even though generally suffering from data scarcity, stemming from the difficulty in retrieving positive samples. To address this issue, this thesis proposes a synthetic data augmentation approach, eventually allowing the generation of a high number of images containing landfill instances. For this approach, we designed a pipeline to create multiple structures of objects from different waste categories and implant such structures in aerial or satellite images. This pipeline exploits the Blender modelling tool for rendering the graphical part and combines geographic and semantic information to define feasible locations for instance placement. This process allows to create synthetic images in averagely 10 seconds per image, with instances appearing in totally realistic locations in 85% of the cases. Furthermore, these images were used to fine-tune a neural network for the task of binary scene classification, leading to minor performance improvements.

Le discariche illegali rappresentano una seria minaccia per la salute a causa dei numerosi inquinanti che queste possono rilasciare tramite percolato o fumi di combustione. È quindi importante identificarle il prima possibile e agire prontamente per smaltire in modo opportuno i rifiuti che le compongono. Per questo motivo, l’Unione Europea ha recentemente avviato il progetto PERIVALLON, di cui è parte questa tesi, con l’obiettivo di esplorare soluzioni fondate sull’intelligenza artificiale per contrastare tale fenomeno e i crimini ad esso legati. In questo contesto, alcuni approcci nel campo della Computer Vision si sono già dimostrati promettenti per rispondere a diverse consegne, come l’identificazione di discariche illegali tramite immagini di telerilevamento, nonostante queste consegne soffrano spesso del problema di scarsità dei dati, originato dalla difficoltà di reperire campioni positivi. Per affrontare questo problema, questa tesi propone un approccio di augmentation tramite dati sintetici tale da consentire la generazione di un numero elevato di immagini contenenti istanze di discariche. Per questo approccio, abbiamo progettato una pipeline per creare varie strutture di oggetti di diverse categorie di rifiuti e impiantare tali strutture in immagini aeree o satellitari. Questa pipeline sfrutta lo strumento di modellazione 3D Blender per il rendering grafico e combina informazioni geografiche e semantiche per definire posizioni accettabili dove introdurre le istanze. Questo processo consente di creare immagini sintetiche in mediamente 10 secondi per immagine, con istanze in posizioni totalmente realistiche nell'85% dei casi. Queste immagini sono poi state utilizzate per fare fine-tuning di una rete neurale per classificazione binaria delle scene, portando a lievi miglioramenti delle prestazioni.