Detection of illegal landfills using deep learning: a weakly supervised approach

In our current era, the urgency to protect our environment has intensified, necessitating swift action. The rise of illegal landfill sites presents imminent ecological risks and long-term consequences for ecosystems and human health. Detecting and dismantling these covert waste sites is crucial in combating organized environmental crimes. Our goal is to utilize deep learning techniques to automatically locate and outline illegal landfills in satellite images. This thesis contributes to the European initiative PERIVALLON, aimed at preventing unlawful activities like unauthorized waste disposal. To tackle the problem of identifying and localizing illegal dumpsites, given the scarcity of waste-containing images we employed a weakly supervised segmentation approach. Specifically, we compared two popular approaches: heatmap-based and MIL-based. In the heatmap-based approach, we employed a CNN trained to classify waste presence or absence in an image. Post-training, we derived a heatmap using GRAD-CAM++ from the CNN's final feature maps. Alternatively, the model directly generated a heatmap using features from different layers at varying resolutions. In the MIL-based approach, we trained a CNN to classify small patches extracted from the high-resolution input image. Each patch was processed to obtain representations, aggregated using pooling to determine importance, and produce a single image representation fed into a classification head. The trained model can classify bags of patches of variable size, generating a heatmap by extracting and classifying patches with a reduced shift. Moreover, given the diverse sources of satellite imagery, we standardized them to uniform spatial resolutions and dimensions through preprocessing and created a data augmentation framework to simulate satellite conditions, including increased brightness and added noise to images.

Nell'attuale contesto, la crescente urgenza di preservare l'ambiente richiede azioni tempestive. L'aumento delle discariche illegali rappresenta una minaccia ecologica imminente con implicazioni a lungo termine per gli ecosistemi e la salute umana. Il nostro obiettivo è impiegare tecniche di deep learning per rilevare e delineare automaticamente le discariche illegali nelle immagini satellitari, contribuendo all'iniziativa europea PERIVALLON contro il crimine ambientale. Per affrontare il problema della localizzazione dei siti illegali e data la scarsità di immagini contenenti rifiuti, abbiamo utilizzato un approccio di segmentazione debolmente supervisionato. In particolare, abbiamo confrontato due approcci popolari: basati sulle mappe di calore e basati sul Multiple Instance Learning (MIL). Nel metodo basato sulle mappe di calore, abbiamo utilizzato una rete neurale convoluzionale (CNN) addestrata per classificare un'immagine. Dopo l'addestramento, abbiamo derivato una mappa di calore utilizzando GRAD-CAM++ dalle ultime mappe di attivazione della CNN. In alternativa, il modello ha generato direttamente una mappa di calore combinando le mappe provenienti da diversi livelli. Nel metodo basato sul MIL, abbiamo addestrato una CNN per classificare piccole patch estratte dall'immagine ad alta risoluzione. Ogni patch è stata elaborata per ottenere delle rappresentazioni, aggregate tramite pooling per determinarne l'importanza e produrre una singola rappresentazione dell'immagine per poterla classificare. Il modello addestrato può classificare insiemi di patch di dimensioni variabili, generando una mappa di calore estraendo e classificando patch con uno spostamento ridotto. Inoltre, data la diversità delle fonti di immagini satellitari, abbiamo standardizzato tali immagini a risoluzioni spaziali e dimensioni uniformi mediante pre-elaborazione ed abbiamo sviluppato un framework di data augmentation per simulare le condizioni satellitari, incluso l'aumento della luminosità e l'aggiunta di rumore alle immagini.