Objective attention classifier for evaluation of new robotic therapy for ASD children

Autism spectrum disorder (ASD) affects 1 in 44 children in the United States. Social robots are very promising in therapies with ASD children as they help in establishing communication and promoting attention. Attention plays a critical role in almost every area of life allowing people to focus on information. Nowadays mostly qualitative measures (observational and parent-report measures) are used for diagnosis and evaluation of ASD. In literature, attention is measured through manual labelling of videos, which is labour-intensive and subjective. However, new algorithms allow to quantify objectively the progress of the child during the therapy. This thesis aims to develop and test an attention measurement system for the evaluation of a novel robotic therapy for ASD children. First, in cooperation with therapists of IRCCS Fondazione Don Carlo Gnocchi, a new protocol focused on eliciting the child's attention through the use of the social robot NAO was developed. The session is recorded with the Kinect camera for offline analysis. Then, a top-down system for the classification of the attention based on the subjects and target's position was developed using the Gaze360 algorithm and considering several geometrical calculations. Analysing the system's performance in a sample of 5 healthy subjects, non-linear offsets between the predicted gaze value and the expected gaze value, which did not allow a correct measure of attention, were identified. These offsets were caused by several factors such as subject position, target position, gaze value, and light. Therefore, to solve the problem, we adopted a bottom-up solution, using a Multi-Layer Perceptron architecture to classify which target the subject was looking at. In a sample of 5 healthy subjects we obtained a final accuracy of 89% demonstrating the importance of deep learning methods for the attention analysis in robotic therapies of children with ASD. In the future, it will be important to test the developed protocol with healthy and ASD children, to understand its sensibility to capture the differences between the two groups and to verify its consistency in children.

Il disturbo dello spettro autistico (ASD) colpisce, solo negli Stati Uniti, 1 bambino su 44. I robot sociali sono molto promettenti nelle terapie con i bambini con ASD poiché promuovono l'attenzione e la comunicazione. L'attenzione svolge un ruolo fondamentale in quasi tutti i settori della vita, consentendo di acquisire informazioni. Ad oggi, per lo screening e la diagnosi si utilizzano questionari rivolti ai genitori e misure osservazionali. L’attenzione, invece, viene valutata attraverso labeling manuale di video, che risulta essere soggettivo e richiede molto lavoro dei terapisti. Tuttavia, nuovi algoritmi permettono di quantificare oggettivamente i progressi del bambino durate la terapia. Questa tesi si propone di misurare l'attenzione per la valutazione di una nuova terapia robotica per bambini con ASD. In collaborazione con i terapisti dell'IRCCS Fondazione Don Carlo Gnocchi, è stato sviluppato un nuovo protocollo che stimola l'attenzione del bambino attraverso l'uso del robot sociale NAO. La sessione viene registrata con la telecamera Kinect per successive analisi. È stato quindi sviluppato un sistema top-down per la classificazione dell'attenzione in base alla posizione del soggetto e del target, utilizzando l'algoritmo Gaze360 e alcuni calcoli geometrici. Analizzando la performance del sistema su un campione di 5 soggetti sani, sono stati riscontrati offset non lineari tra il valore dello sguardo previsto e quello atteso, che non consentivano una misura corretta dell'attenzione. Gli offsets risultano essere causati da diversi fattori: la posizione del soggetto, la posizione del target, il valore dello sguardo e la luce. Pertanto, per minimizzare il problema, abbiamo adottato una soluzione bottom-up, utilizzando un'architettura Multi-Layer Perceptron per classificare quale target il soggetto stesse guardando. È stata così ottenuta un'accuratezza finale dell'89%, che dimostra l'importanza dei metodi di deep learning per l'analisi dell'attenzione nelle terapie robotiche dei bambini con ASD. In futuro il sistema verrà testato su bambini sani e con ASD per verificarne la sensibilità nel cogliere differenze tra i due gruppi.