Fighting environmental crime with deep learning: classifying waste materials from illegal landfills in satellite imagery

Illegal landfills pose a serious threat to the environment and human health, with increased risks of developing illnesses such as cancer and leukemia observed in areas near these waste sites. Following these concerns, the European Union has launched the PERIVALLON project in 2022, which this thesis contributes to and which aims at leveraging the latest advancements in Artificial Intelligence and Computer Vision to prevent and mitigate environmental crimes. In this context, recent studies have demonstrated the potential of AI-based technologies to detect illicit waste disposals via Remote Sensing images. However, approaches to discriminate among the specific materials comprised in these sites are yet largely unexplored, even though accurate definition of the waste site composition could improve the precision of risk assessment, enabling law enforcements agencies to prioritize on-site inspection of sites containing hazardous materials. This thesis addresses the challenge of material identification in landfills in Remote Sensing imagery, framing the problem as a multi-label classification task. To support this effort a new dataset was created with more than 11.400 multi-label annotations across 13 distinct categories and more than 7,000 images. Different loss functions and pre-training datasets were evaluated to identify the optimal configuration. Two different backbones are compared: ResNet and Swin Transformer, enhanced by Feature Pyramid Networks (FPN) and other multi-label classification heads, specific to the multi-label classification task. The models were trained on two datasets, featured by a different number of categories, and later thoroughly evaluated both quantitatively and qualitatively. This performance evaluation produced a weighted F1 score of 69.21% on the five-category dataset and of 59.42% on ten-category one.

Le discariche illegali rappresentano una grave minaccia per l'ambiente e la salute umana, con un aumento dei rischi di sviluppare malattie come il cancro e la leucemia osservato nelle aree vicine a questi siti di smaltimento. In risposta a queste preoccupazioni, l'Unione Europea ha lanciato nel 2022 il progetto PERIVALLON, a cui questa tesi contribuisce, con l'obiettivo di sfruttare i più recenti progressi nell'Intelligenza Artificiale e nella Visione Artificiale per prevenire e mitigare i crimini ambientali. In questo contesto, studi recenti hanno dimostrato il potenziale delle tecnologie basate sull'IA per rilevare smaltimenti illeciti di rifiuti tramite immagini di telerilevamento. Tuttavia, gli approcci per discriminare tra i materiali specifici presenti in questi siti rimangono in gran parte inesplorati, nonostante una definizione accurata della composizione dei rifiuti possa migliorare la precisione nella valutazione del rischio, consentendo alle autorità competenti di dare priorità alle ispezioni in loco nei siti contenenti materiali pericolosi. Questa tesi affronta la sfida dell'identificazione dei materiali nelle discariche tramite immagini di telerilevamento, inquadrando il problema come un compito di classificazione multi-etichetta. Per supportare questo lavoro è stato creato un nuovo dataset con oltre 11.400 annotazioni multi-etichetta distribuite su 13 categorie distinte e più di 7.000 immagini. Sono state valutate diverse loss fun e dataset di pre-addestramento per identificare la configurazione ottimale. Sono stati confrontati due diverse backbone: ResNet e Swin Transformer, in combinazione con Feature Pyramid Networks (FPN) e classification head specifiche per la classificazione multi-etichetta. I modelli sono stati addestrati su due dataset, caratterizzati da un diverso numero di categorie, e successivamente valutati in modo approfondito sia quantitativamente che qualitativamente ottenendo un punteggio F1 pesato di 69.21% sul dataset a cinque categorie e di 59.42% su quello a dieci categorie.