Enhancing search and rescue missions with UAV thermal detection and tracking

Every year there are many cases of injured or lost people, which require timely intervention by rescuers to locate them and provide medical assistance. These Search and Rescue operations have been constantly increasing during the last few years and require the intervention of many people to plan and operate them. In recent years, drones equipped with optical and thermal cameras have been deployed to assist rescuers and provide a more efficient and practical solution, compared to on-foot search or helicopter-based missions, for scanning wide and arduous territories. However, the long-recorded mission videos need to be manually analysed by responders to detect any sign of the missing person, facing a high risk of mental fatigue due to the huge amount of frames to review. To help rescuers, Deep Learning techniques can automatically identify potential signs of human presence starting from the thermal videos captured by the drone, which can detect it even under some occlusions, often occurring when these missions are carried out over forests. This thesis addresses this task as an Object Detection, followed by a Tracking step to reduce the number of potential false alarms. The proposed approach can detect possible signs of the missing person, by drawing a bounding box, i.e., a rectangle, around each of them, while discarding some wrong predictions and tracking them consistently. This allows rescuers to manually review only a small subset of frames from the original videos where the model is confident to have identified a person. The proposed method achieves promising results on the specially collected thermal data simulating realistic Search and Rescue missions. Together, the most promising Object Detector (YOLOv8) and Multiple Object Tracker (BoostTrack++) achieve an F1 of 77.17% and a HOTA of 55.88%, proving that the system has the potential to help rescuers during a real Search and Rescue mission.

Ogni anno si verificano molti casi di persone ferite o disperse, che richiedono un intervento tempestivo da parte dei soccorritori per localizzarle e fornire assistenza medica. Queste missioni di Ricerca e Soccorso sono in costante aumento negli ultimi anni e richiedono l'intervento di molte persone per la loro pianificazione e gestione. Negli ultimi anni, i droni dotati di telecamere ottiche e termiche sono stati impiegati per assistere i soccorritori e fornire una soluzione più efficiente e pratica, rispetto alle missioni di ricerca a piedi o in elicottero, per la scansione di territori ampi e difficili. Tuttavia, i lunghi video registrati durante le missioni devono essere analizzati manualmente dai soccorritori per individuare qualsiasi segno della persona scomparsa, affrontando un elevato rischio di affaticamento mentale dovuto all'enorme quantità di fotogrammi da revisionare. Per aiutare i soccorritori, le tecniche di Apprendimento Profondo possono identificare automaticamente potenziali segni della presenza umana partendo dai video termici catturati dal drone, che possono rilevarla anche in presenza di alcune occlusioni, che spesso si verificano quando queste missioni vengono effettuate sulle foreste. Questa tesi affronta questo compito come un rilevamento di oggetti, seguito da una fase di tracciamento per ridurre il numero di potenziali falsi allarmi. L'approccio proposto consente di rilevare i possibili segni della persona scomparsa, disegnando un rettangolo attorno ad ognuno di essi, scartando alcune previsioni errate, e tracciandole in modo coerente. Ciò consente ai soccorritori di esaminare manualmente solo un piccolo sottoinsieme di fotogrammi dei video originali in cui il modello è confidente di aver identificato una persona. Il metodo proposto ottiene risultati promettenti sui dati termici appositamente collezionati, che simulano delle missioni di Ricerca e Soccorso realistiche. Insieme, il Rilevatore di Oggetti (YOLOv8) e il Tracciatore Multi-Oggetto (BoostTrack++) più promettenti raggiungono un F1 di 77.17% e un HOTA di 55.88%, dimostrando che il sistema ha il potenziale per aiutare i soccorritori durante una vera missione di Ricerca e Soccorso.