Analysis, development, and simulation of a mission system for MUM-T operational scenarios

This master thesis is meant to model and simulate a mission system for Manned-Unamnned Teaming (MUM-T) operational scenarios, with a specific focus to rotorcraft applications. In order to accomplish the task, a high-level architecture to enable the teaming is designed and prototypes of Pilot Onboard Station (POS) and Ground Control Station (GCS) have been realized. The contemporary presence of an onboard station and a ground facility is the typical control architecture proposed in the few currently available MUM-T works of art, since it grants redundancy and deeper mission management. Also, it is set a helicopter flight simulator based on data from real vehicles able to visualize, interact, and team with a swarm of Unmanned Air Vehicles (UAVs) to complete common tasks. The overall sys tem of systems is meant to grant a complete simulation environment for MUM-T and is specifically designed for testing purposes with Human In The Loop (HITL), so to grant a platform to simulate scenarios and take confidence with this new technological concept. The identified testing laboratory for the final hardware & software setup and test campaign is the ATTILA VR flight simulator of Politecnico di Milano. The proposed work is the result of a curricular internship in TXT E-TECH s.r.l., which led to the definition of the proposed design. The software architecture is based on open-source software, in order to allow full control of the source code during the prototyping phase and scalability, integrated with proprietary code in case of absence of already existing tools. In particular, the Onboard Station prototype is realized by means of a customized version of QGroundControl (QGC), which is integrated with other pieces of software that enable new functionalities and features Software In The Loop (SITL). The Onboard Station covers all the flight phases of planning, monitoring, and decision support, thus allowing full and constant control of the unmanned vehicles. It is realized by granting control via touchscreen devices, being this technology feasible for aerospace applications and intrinsically making drone management more rapid and intuitive. At the same time, the prototype of the ground station is coded in C++ and consists of different modules that allow flight data backup, tactical support at various levels and control of the UAVs when needed. The GCS shall present all the pieces of information in a clear and intuitive way and allow a rapid response in case of need. The study also focuses attention on path planning. More specifically, different planning modes - both with a one-to-one and one-to-many drone swarm approach - are proposed, in which given in input various parameters like chosen altitude, cruise speed, and mission waypoints, the complete mission profile is computed and made available for the drones. Non-optimal heuristic solutions but fast to compute are proposed. The aim of this part of the work is to put in evidence some possible logic that could be employed to perform planning in Aerial Vehicle Teaming (AVT), as to minimize the operators’ required workload. Task-based approaches are in fact seen as the most efficient for MUM-T applications and this type of implementation perfectly suits such a need. Regarding the flight simulation component, the aeromechanical and feedback implementation of the main vehicle is realized by means of a MBDyn/Simulink model of the helicopter, while the UAVs are simulated by means of AirSim in Colosseum version, using PX4-Autopilot as flight controller. The involved simulation engine is Unreal Engine 5.1.1, chosen due to its high realism and the interest it is generating in the aerospace industry. Planet Earth is replicated by means of the geospatial plugin Cesium for Unreal and the simulation prototype’s components can exchange data by means of Mavlink, Transmission Control Protocol (TCP) and User Datagram Protocol (UDP). In particular, the helicopter simulation and the UAVs’ one are developed independently and put in communication via UDP packets, exchanging with each other their own attitude and position state with an adequate ratio to realize a real-time simulation. This design choice makes the architecture easily scalable and adaptable, allowing to modify one project without affecting in any way the other involved systems. Lastly, the final test campaign in ATTILA VR is described and analyzed, from hardware & software setup to the description of results. The proposed test campaign took place on 27/10/2023 and 15/11/ and led to encouraging results opening the way to more mature prototypes.

Questa tesi di laurea magistrale ha lo scopo di sviluppare e simulare un prototipo di sistema di missione per scenari operativi di Manned - Unamnned Teaming (MUM-T), con un focus specifico sulle applicazioni per velivoli ad ala rotante. Per portare a termine il compito, è stata definita un’architettura di alto livello e sono stati realizzati dei prototipi di Pilot Onboard Station (POS) e di Ground Control Station (GCS). La contemporanea presenza di una stazione di bordo e una struttura a terra è infatti la tipica architettura di controllo proposta nelle poche opere attualmente disponibili in tema di MUM-T, poiché garantisce ridondanza e una gestione più completa della missione. Inoltre, è stata sviluppata l’architettura software di un simulatore di volo per elicottero basato su dati provenienti da velivoli reali in grado di visualizzare, interagire e collaborare con uno stormo di UAV, al fine di completare obiettivi comuni. Il sistema di sistemi risultante è pensato per garantire un ambiente di simulazione completo per applicazioni di MUM-T ed è progettato specificamente per scopi di test Human In The Loop (HITL), così da garantire una piattaforma per simulare scenari e prendere confidenza con questo innovativo concetto tecnologico. La struttura identificata per la configurazione finale dell’hardware e del software e per la realizzazione della campagna di test è il simulatore di volo ATTILA VR del Politecnico di Milano. Il lavoro qui presentato è il frutto di un tirocinio curriculare presso TXT E-TECH s.r.l., che ha portato alla definizione del design qui descritto. L’architettura software è basata su codice open source, in modo da garantire il completo controllo del sorgente durante la fase di prototipazione e sviluppo, integrato quando necessario con codice scritto personalmente nel caso di mancanza di tool già esistenti. In particolare, il prototipo della Pilot Onboard Station (POS) è realizzato mediante una versione customizzata di QGroundControl, al quale sono stati aggiunti altri software che abilitano nuove funzionalità e caratteristiche Software In The Loop (SITL). La stazione di bordo copre tutte le fasi del volo: pianificazione, monitoraggio e supporto decisionale, consentendo così il pieno e costante controllo dei droni. Il suo sviluppo è stato inoltre portato avanti in modo da garantire controllo tramite dispositivi touchscreen, essendo stata dimostrata l’applicabilità di questa tecnologia alle tecnologie aerospaziali e rendendo intrinsecamente più rapida ed intuitiva la gestione degli UAV. Allo stesso tempo, è stata prototipata la groundstation, il cui codice sorgente è scritto in C++ ed è composto da diversi moduli che consentono il backup dei dati di volo, il supporto tattico a vari livelli ed il controllo diretto degli UAV quando necessario. La GCS è incaricata di presentare tutte le informazioni in modo chiaro ed intuitivo e tale da consentire una rapida risposta in caso di necessità. Il lavoro di ricerca condotto si focalizza anche sul path planning. Più specificamente, diverse modalità di pianificazione sono proposte, sia con approccio one-to-one che one-to-many per gli sciami di droni, in cui vengono dati in input vari parametri come quota di volo, velocità di crociera e waypoint di missione, dati i quali viene calcolato e reso disponibile ai velivoli il profilo completo di missione. Vengono proposte soluzioni euristiche non ottimali, ma veloci da calcolare. Lo scopo di questa parte del lavoro è quello di mettere in evidenza alcune possibili logiche da impiegare nell’Aerial Vehicle Teaming (AVT), in modo da ridurre al minimo il carico di lavoro richiesto agli operatori. Gli approcci task-based sono infatti considerati i più efficienti per applicazioni di MUM- T e questo tipo di implementazione ne interpreta esattamente il senso. Per quanto riguarda la componente di simulazione di volo, l’implementazione aeromeccanica e di controllo del velivolo principale è realizzata mediante un modello MBDyn/Simulink, mentre gli UAV vengono simulati tramite AirSim in versione Colosseum, utilizzando PX4-Autopilot come flight controler. Il motore grafico coinvolto è Unreal Engine 5.1.1, scelto per il suo elevato grado di realismo e l’interesse che sta generando nell’industria aerospaziale. Il pianeta Terra viene replicato tramite il plugin geospaziale Cesium for Unreal ed i vari sottocomponenti della simulazione possono scambiare dati tramite Mavlink, Transmission Control Protocol (TCP) e User Datagram Protocol (UDP). In particolare, sono state sviluppate la simulazione dell’elicottero e quella degli UAV in modo indipendente e messi in comunicazione tramite pacchetti UDP, scambiando tra loro il proprio stato in termini di posizione ed attitude con un rateo di aggiornamento adeguato alla realizzazione di una simulazione in tempo reale. Questa scelta progettuale rende l’architettura facilmente scalabile e adattabile, permettendo di modificare un progetto senza influenzare in alcun modo gli altri sistemi coinvolti nella architettura. Infine, viene descritta e analizzata la campagna di test finale in ATTILA VR, dal setup hardware & software alla descrizione dei risultati. La campagna proposta ha avuto luogo nei giorni 27/10/2023 e 15/11/2023 ed ha portato a risultati incoraggianti che aprono la strada per prototipi più avanzati.