Optimizing object detection for waste recognition in UAV imagery: dataset development and model training

Environmental crime poses severe threats to ecosystems, biodiversity, and human health. Among its most prevalent forms, illegal waste disposal has direct consequences on people's quality of life in affected areas. Exposure to hazardous waste substances has been linked to increased rates of multiple forms of cancer and chronic heart diseases. Traditional inspection methods require extensive time and manpower, making them inefficient for large-scale monitoring. Recent advances in UAV technology, combined with AI-enabled Computer Vision, offer a promising solution for automating inspection methods, significantly reducing survey time and the required workforce. This thesis, conducted in the framework of the PERIVALLON Horizon Europe project, focuses on the development of a dataset for waste detection from UAV imagery and on the evaluation of common Object Detection models applied to this task. The main contributions of this thesis include: (1) the creation of a novel dataset featuring 3,346 annotations in the form of segmentation masks and bounding boxes over 4,993 orthorectified images from 17 waste disposal sites in Italy and Greece; (2) the evaluation of two Object Detection models, YOLOv8 and Faster R-CNN, trained on this dataset; and (3) the introduction of a data augmentation technique that combines original UAV images with images extracted from orthomosaics to increase the size of the training data. To the best of our knowledge, no existing dataset or model has been specifically designed to detect such a diverse range of waste types from aerial images. Results indicate that Object Detection is highly effective for regularly shaped waste categories such as pallets and tires, with the best YOLOv8 model achieving AP scores above 60%. However, for waste types with not clearly defined boundaries, such as rubble or mixed items, detection remains challenging. These findings underscore both the potential and limitations of Object Detection for waste monitoring. They provide valuable insights for future research in AI-driven environmental crime detection, assisting environmental protection agencies in the monitoring and inspection of illegal waste disposal sites.

I reati ambientali sono una grave minaccia per ecosistemi, biodiversità e salute umana. Tra i crimini ambientali più diffusi, lo smaltimento illegale di rifiuti ha conseguenze dirette sulla qualità della vita nelle aree colpite. I metodi di ispezione tradizionali comportano un notevole dispendio di tempo e manodopera, risultando inefficaci su larga scala. I più recenti sviluppi nel campo dei droni, combinati con la visione computerizzata basata su Intelligenza Artificiale, offrono una soluzione promettente per automatizzare le ispezioni, riducendo tempi di indagine e forza lavoro necessaria. Questa tesi, condotta nell'ambito del progetto Horizon Europe PERIVALLON, si concentra sullo sviluppo di un dataset per il rilevamento di rifiuti nelle immagini da drone e sulla valutazione dei modelli più comuni di rilevamento di oggetti in questo ambito. I principali contributi di questa tesi includono: (1) la creazione di un nuovo dataset con 3.346 annotazioni sotto forma di maschere di segmentazione e riquadri di delimitazione su 4.993 immagini ortorettificate provenienti da 17 siti contenenti rifiuti in Italia e Grecia; (2) la valutazione di due modelli di rilevamento di oggetti, YOLOv8 e Faster R-CNN, addestrati sul dataset; (3) l'introduzione di una tecnica di data augmentation che combina immagini UAV originali e immagini estratte da ortomosaici per incrementare il numero dei dati di addestramento. Al livello di conoscenza attuale, nessun dataset o modello esistente è stato progettato specificamente per rilevare una gamma così diversificata di rifiuti da immagini aeree. I risultati indicano che il rilevamento di oggetti è molto efficace per le categorie di rifiuti dalle forme regolari come pallet e pneumatici, con il miglior modello YOLOv8 che supera il 60% in AP. Tuttavia, per classi di rifiuti dai contorni meno definiti, come detriti o pile di oggetti misti, il rilevamento rimane complesso. Questi risultati forniscono indicazioni preziose per la ricerca futura nel campo dell'individuazione dei crimini ambientali guidata dall'Intelligenza Artificiale, aiutando le agenzie di protezione ambientale nel monitoraggio e ispezione di siti di smaltimento illegale dei rifiuti.