Suspicious objects classification for illegal landfills discovery in remote sensing images

The problem of waste management has recently gained worldwide relevance, having both an economic and social resonance in every country. One of the most concerning issues is constituted by illegal dumping, consisting of the uncontrolled discharge of waste into the environment. From the 1970s, with the further development of technology, the need for automatic procedures to monitor these types of phenomena increased over and over, bringing researchers to explore many possible options. Until now, however, it has been not possible to go beyond semi-automatic techniques, always requiring human intervention. In particular, the combination of satellite images with geographic information systems (GIS) has been examined far and wide for a long time. Even if it produced very good results, as anticipated, it has never allowed achieving total independence from human expertise. A decisive improvement towards fully automatic systems has been obtained with the adoption of Deep Learning techniques, in particular Convolutional Neural Networks (CNNs). In this context, current experiments focus on the automatic classification of images. The goal of this research is to exploit one of the neural networks already used in this field, the ResNet50 architecture, to further extend the monitoring capabilities of automatic systems, allowing them to also account for the classification and localization of different types of objects characterizing Illegal Landfills. In particular, firstly the ResNet50 architecture has been used to solve the multilabel classification task, consisting in the recognition of the presence (even concurrently) of the considered classes in the given images. The proposed model reached an F1 score of 81% on average on the test set. From the trained classifier, Class Activation Maps (CAMs) were produced and analyzed to identify the regions of the images belonging to the different waste types. The obtained results have been evaluated quantitatively using custom metrics based on the calculation of the Intersection over Union, and qualitatively by actually looking at the obtained bounding boxes, thus understanding the practical relevance of the achieved results.

Il problema della gestione dei rifiuti ha recentemente acquisito rilevanza a livello mondiale, con una risonanza sia economica che sociale in ogni Paese. Una delle criticità più preoccupanti è costituita dalle discariche abusive, ovvero nello scarico incontrollato di rifiuti nell'ambiente. Dagli anni '70, con l'ulteriore sviluppo della tecnologia, la necessità di monitorare in maniera automatica questi tipi di fenomeni è aumentata, portando i ricercatori a esplorare molte possibili opzioni. Finora, però, non è stato possibile andare oltre a tecniche semiautomatiche, che richiedono sempre l'intervento umano. La combinazione delle immagini satellitari con i sistemi di informazione geografica (GIS) è stata esaminata in lungo e in largo per molto tempo. Nonostante abbia prodotto ottimi risultati, queste tecniche non hanno mai permesso di raggiungere la totale indipendenza dalle competenze umane. Un deciso miglioramento verso i sistemi completamente automatici è stato ottenuto con l'adozione di tecniche di Deep Learning, in particolare le Convolutional Neural Networks (CNN). In questo contesto, gli esperimenti attuali si concentrano sulla classificazione automatica delle immagini. L'obiettivo di questa ricerca è sfruttare una delle reti neurali già utilizzate in questo campo (ResNet50) per estendere ulteriormente le capacità di monitoraggio di sistemi automatici, consentendo la classificazione di diverse tipologie di oggetti che caratterizzano le discariche illegali. Inizialmente l'architettura ResNet50 è stata utilizzata per risolvere la classificazione di tipo multilabel, e quindi per riconoscere la presenza (anche contemporanea) di oggetti appartenenti a diverse classi. Il modello proposto ha raggiunto un F1 score del 81% in media sul test set. Successivamente, con il classificatore allenato sono state prodotte le Class Activation Maps (CAMs), al fine di identificare le regioni delle immagini che appartengono ai diversi tipi di rifiuti. I risultati ottenuti sono stati valutati quantitativamente utilizzando metriche personalizzate basate sul calcolo dell'Intersection over Union, e qualitativamente guardando effettivamente i box di delimitazione ottenuti.