anomaly detection from aerial images for search and rescue missions

The growing number of people carrying out activities in the mountains has led to an increasing number of accidents that occur in inaccessible places. When an injured, ill, or lost person requires the intervention of specialized rescue teams, the efficiency of operations is crucial. Search and Rescue missions are time-critical operations that often occur in complex and challenging environments. Drones equipped with optical or thermal cameras can accelerate rescue operations by quickly scanning wide areas of the ground, enabling fast localization of missing people. However, the large amount of acquired data requires a significant effort from the rescuers to manually inspect each image, searching for any trace of human presence. Computer Vision tasks, combined with Machine Learning techniques, can help rescuers by automatically detecting traces of human presence from the captured image, limiting the effort required for manual screening. This thesis explores Machine Learning and Deep Learning techniques to identify people from thermal images captured during Search and Rescue missions. The analyzed models approach the problem as an anomaly detection task where mostly background samples are available for model training. These approaches aim to identify anomalies, i.e. those images or areas different from the learned background features. Detailed analyses prove that Deep Learning architectures outperform classical Machine Learning techniques obtaining promising results on the available data set consisting of simulated missions in forest scenarios. The most promising Deep Learning method can obtain over 92.6% of F1-Score on the anomaly class and generate accurate anomaly heatmaps. The developed system can support rescuers during operations by highlighting the potential locations of missing people on thermal images captured during a Search and Rescue mission.

Il crescente numero di persone che svolgono attività in montagna ha portato ad un aumento degli incidenti che spesso si verificano in luoghi inaccessibili. Quando una persona ferita, malata o dispersa richiede l’intervento di squadre di soccorso specializzate, l’efficienza delle operazioni è fondamentale. Le missioni di ricerca e salvataggio sono operazioni critiche in termini di tempo che spesso si svolgono in ambienti complessi e difficili. I droni equipaggiati con telecamere ottiche o termiche possono accelerare le operazioni di soccorso scansionando rapidamente ampie aree del terreno, consentendo di localizzare persone disperse velocemente. Tuttavia, la grande quantità di dati acquisiti richiede un notevole sforzo da parte dei soccorritori per ispezionare manualmente ogni immagine ed individuare qualsiasi traccia di presenza umana. I metodi di visione computerizzata, combinati con tecniche di apprendimento automatico, possono aiutare i soccorritori rilevando automaticamente tracce di presenza umana sulle immagini catturate, limitando lo sforzo necessario per la scansione manuale. Questa tesi esplora le tecniche di apprendimento automatico e apprendimento profondo per identificare persone dalle immagini termiche catturate durante le missioni di ricerca e salvataggio. I modelli analizzati approcciano il problema utilizzando tecniche di rilevamento di anomalie in cui immagini di sfondo sono principalmente disponibili per l’addestramento dei modelli. Questi approcci mirano a identificare le anomalie, cioè quelle immagini o aree che differiscono dalle caratteristiche di sfondo apprese. Analisi dettagliate hanno dimostrato che le architetture di apprendimento profondo superano le classiche tecniche di apprendimento automatico, ottenendo risultati promettenti sulle immagini utilizzate per la valutazione dei modelli che rappresentano simulazioni di missioni in scenari forestali. Il metodo di apprendimento profondo più promettente è in grado di ottenere oltre il 92.6% di F1-Score sulla classe anomala ed è in grado di generare accurate mappe di calore per evidenziare le anomalie identificate. Il sistema sviluppato può supportare i soccorritori durante le operazioni di soccorso, evidenziando le potenziali posizioni delle persone disperse sulle immagini termiche catturate durante una missione di ricerca e salvataggio.