Classification of cobot interactions in aeronautical environment: a ML and XAI approach

ARTO or Automated Robotics for Testing Optimization, is a system that combining collaborative robotics and AI, aims to automate and optimize the functional test procedures to be performed primarily on newly produced civilian and military aircrafts. The system has to be safe, reliable and easily interpretable by the operators. To this end, this thesis proposes a Machine Learning (ML) and eXplainable AI (XAI) approach for the check and validation of the actions performed by the cobot interacting with the cockpit's components such as buttons, knobs, switches and levers. Force-controlled actions are developed to ensure precise and e ective actuation of the components. Custom 3D-printed tools are prototyped and used to facilitate the actuation of buttons and levers. Registered signals of forces, torques, position and orientation of the cobot's end-e ector while performing the action are preprocessed and used to build a dataset of over 4300 manually annotated samples, for the training and testing of classi cation models. The employed preprocessing includes various and di erent techniques to isolate the principal features of the signals, excluding disturbances generated by the low-performance force-controller and Force Torque Sensor (FTS) of the robot, helping the ML models for a better analysis. These models determine whether an action is successfully executed or if it fails. In this latter case, it also provides insights into the causes of failure. Custom built Convolutional Neural Networks (CNN), in various architectures and types such as 1D, 2D and Hybrid, are used for this purpose. Additionally Grad-CAM, a XAI algorithm, is integrated to provide a visual explanation of the model's decision process. Development and testing are conducted using an Universal Robot UR5e on a single-seat Airbus A320 cockpit simulator.

ARTO o Automated Robotics for Testing Optimization è un sistema che, combinando robotica collaborativa ed intelligenza arti ciale, mira ad automatizzare ed ottimizzare i test funzionali e le rispettive procedure da eseguire su nuovi aerei ed elicotteri civili e militari. Il sistema deve essere sicuro, a dabile e facilmente interpretabile dagli operatori. A tal ne in questa tesi viene sviluppato un sottosistema di ARTO che, sfruttando Machine Learning (ML) ed eXplainable AI (XAI), permette la validazione delle azioni compiute dal cobot interagendo con i vari componenti dei cockpit (pulsanti, switch, manopole e leve), in autonomia. Le azioni, controllate in forza, sono programmate per garantire un'attuazione precisa e sicura di tali componenti. Sono stati progettati e stampati in 3D strumenti che, una volta equipaggiati dal robot, facilitano l'interazione con pulsanti e leve. Registrati i feedback di forza, coppia, posizione e orientamento dell'end-e ector durante l'esecuzione delle azioni, essi vengono pre-processati e usati per comporre un dataset, di oltre 4300 azioni manualmente classi cate, per l'addestramento e il test dei modelli di classi cazione. Durante il pre-processing vengono isolate le parti più ricche di informazioni ed esclusi i disturbi causati dal controllore e dal sensore di forza integrato, a basse prestazioni. I modelli di Machine Learning sviluppati permettono di classi care se un'azione viene eseguita correttamente o fallisce, fornendo informazioni sulle cause di quest'ultimo. Le reti neurali convoluzionali sono speci camente costruite con architetture di vario tipo, come 1D, 2D e ibride. Si integra inoltre Grad-CAM, un algoritmo di eXplanable AI, che fornisce una spiegazione visiva del processo decisionale del modello. Lo sviluppo e la validazione dei metodi presentati sono condotti usando l' UR5e di Universal Robots, montato al posto del comandante, su un simulatore dell' Airbus A320.