UAV modeling and power consumption optimization for reinforcement learning-based path planning algorithms

This thesis wants to explore the application of reinforcement learning for energy-efficient path planning in UAV-based search and rescue missions. With the increasing occurrence of natural disasters due to climate change, UAVs have become invaluable tools for reaching remote and hazardous areas quickly. However, optimizing their energy consumption remains critical, as it directly affects operational range and mission duration. This work focuses on modeling both the dynamics and energy consumption of a quadcopter UAV, aiming to design an RL-based control system that can generate efficient paths while minimizing energy use. The study begins by developing a quadcopter dynamic model and an energy consumption model, which together provide the basis for designing a reward function that incentivizes energy-efficient navigation. A Q-learning algorithm is then implemented, initially in MATLAB and later adapted to Simulink, where a full UAV dynamic model is incorporated to enhance the realism of the training environment. This approach enables the evaluation of RL in a high-fidelity context, shedding light on the computational and practical limitations when applied to real-world UAV dynamics. Simulation results show that the proposed framework can generate paths that effectively balance mission objectives with energy constraints, although hardware limitations present challenges in high-complexity scenarios. Overall, this thesis contributes to understanding how RL can be applied to UAV path planning in a realistic dynamic setting, providing insights that may inform future developments in energy-efficient UAV operations for search and rescue applications.

Questa tesi vuole esplorare l’applicazione dell’apprendimento per rinforzo per la pianificazione di percorsi efficienti dal punto di vista energetico in missioni di ricerca e soccorso basate su UAV. Con l’aumento dei disastri naturali dovuti ai cambiamenti climatici, gli UAV sono diventati strumenti preziosi per raggiungere rapidamente aree remote e pericolose. Tuttavia, l’ottimizzazione del loro consumo energetico rimane fondamentale, poiché influisce direttamente sulla portata operativa e sulla durata della missione. Questo lavoro si concentra sulla modellazione della dinamica e del consumo energetico di un drone a quattro eliche, con l’obiettivo di progettare un sistema di pianificazione dei tracciati in grado di generare percorsi efficienti riducendo al minimo il consumo energetico. Lo studio inizia con lo sviluppo di un modello dinamico dell’ UAV e di un modello di consumo energetico, che insieme forniscono la base per la progettazione di una funzione di ricompensa che incentiva una navigazione efficiente dal punto di vista energetico. Viene quindi implementato un algoritmo Q Learning, inizialmente in MATLAB e successivamente adattato a Simulink, dove viene incorporato un modello dinamico completo dell’UAV per aumentare il realismo dell’ambiente di addestramento. Questo approccio consente di valutare l’algoritmo in un contesto ad alta fedeltà, facendo luce sui limiti computazionali e pratici dell’applicazione alla dinamica degli UAV nel mondo reale. I risultati delle simulazioni mostrano che il framework proposto è in grado di generare percorsi che bilanciano efficacemente gli obiettivi della missione con i vincoli energetici, sebbene le limitazioni hardware rappresentino una sfida in scenari ad alta complessità. Nel complesso, questa tesi contribuisce a comprendere come l’apprendimento rinforzato possa essere applicato alla pianificazione dei percorsi degli UAV in un contesto dinamico realistico, fornendo spunti che possono informare i futuri sviluppi delle operazioni UAV ad alta efficienza energetica per le applicazioni di ricerca e soccorso.