Development of an autonomous robot for free play with ASD children

Autism is a disorder in cognitive development that affects many aspects of a child neurological development, including his ability to interact with other people in a functional way. The majority of people affected by Autism Spectrum Disorders (ASD) experience meltdown behaviours, that cause them great psychological pain, and that are usually anticipated by stereotyped behaviours shown by the patients. In order to help patients affected by autism in overcoming their difficulties, social robots have been proven to be particularly efficient during therapy sessions, in context of free-play or during organized activities. The goal of our work is to implement a cheap Social Robot for children affected by ASD that can interact with them in a context of free-play during therapy, while be- ing capable of autonomously recognizing critical situations that may lead to a meltdown behaviour in the patient, in order to efficiently react to such dangerous situations. In order to achieve this goal we adopted Oimi, a social robot that has been already used for such purposes at the AIRLab of Politecnico di Milano, enhancing his capabilities by installing on it a NVIDIA Jetson Nano board running a Computer Vision application running algorithms that perform skeleton detection and activity recognition tasks in real time. The robot has been programmed to perform two main set of behaviours: the Interactive Functioning behaviour, in which it interacts with patients in a context of free-play by following them around the room, and the Meltdown Behaviour Response, that consists in moving away from a child that is experiencing a meltdown episode. Our system performs all the activities needed for our purposes with an efficiency that ranges from 1.7 to 5 FPS, depending on the complexity of the framed images that must be processed. Different experiments were carried out with adult people during the development of our solution, in order to fine tune the behavior of Oimi; as a result, the robot is capable of interacting with people efficiently, avoiding to act in dangerous or unpredictable ways. As a consequence of the current pandemics situation we couldn’t test Oimi in real-world therapy sessions with children affected by ASD, and the most relevant experimentation that we could perform with the robot was a simulation of a free-play therapy setting in order to evaluate the robot’s behaviour. Oimi demonstrated to behave as expected during these tests, but we couldn’t test its activity recognition capabilities due to some technical limitations.

L’autismo è un disturbo dello sviluppo cognitivo che colpisce vari aspetti dello sviluppo neurologico di un bambino, inclusa la sua abilità di interagire con le altre persone in modo funzionale. La maggioranza delle persone che soffrono dei disturbi dello spettro dell’autismo (ASD) vivono episodi di meltdown, che causano loro una forte sofferenza psicologica, e che solitamente sono preceduti da comportamenti stereotipati osservabili nei pazienti. Per aiutare i pazienti che soffrono di autismo nel superare le loro difficoltà i robot social hanno dimostrato di essere particolarmente efficienti nel corso delle sessioni di terapia, in contesti di gioco libero oppure durante attività prestabilite. L’obiettivo del nostro lavoro è l’implementazione di un robot sociale a basso costo per bambini con ASD, che possa interagire con loro in un contesto di gioco libero, essendo in grado di riconoscere autonomamente situazioni critiche che possano portare ad un meltdown nel paziente, per poter reagire in modo efficace al manifestarsi di questi episodi. Per realizzare il nostro obiettivo abbiamo usato Oimi, un robot sociale che è già stato utilizzato per questi scopi presso l’ AIRLab del Politecnico di Milano, aumentando le sue capacità tramite l’installazione di un processore NVIDIA Jetson Nano contenente un’applicazione di computer vision che esegue attività di Skeleton Detection e Activity Recognition in tempo reale. Il robot è stato programmato per esibire due tipi di comportamento: il comportamento di Interactive Functioning, nel quale interagisce con i pazienti in un contesto di gioco libero, seguendoli all’interno della stanza in cui si trovano, e il comportamento di Meltdown Response, che consiste nell’allontanarsi da un paziente che sta soffrendo di un episodio di meltdown. Il nostro sistema esegue tutte le attività necessarie con un’efficienza che varia tra gli 1.7 FPS fino a 5 FPS, in base alla complessità dell’immagine da analiz- zare. Sono state eseguite varie sperimentazioni con adulti nel corso dello sviluppo della nostra soluzione, con lo scopo di ottimizzare il comportamento di Oimi, e come risultato il robot è in grado di interagire con le persone in modo efficiente, evitando di agire in modo imprevisto oppure pericoloso. A causa dell’attuale situazione di pandemia non ab- biamo avuto la possibilità di testare Oimi durante reali sessioni di terapia con bambini che soffrono di ASD, e la sperimentazioni più rilevante che abbiamo effettuato con il robot è stata una simulazione di una situazione di gioco libero durante la terapia, con lo scopo di valutare il comportamento del robot. Oimi ha dimostrato il comportamento che ci aspettavamo nel corso di questi esperimenti, nonostante il fatto che alcune limitazioni tecniche ci abbiano impedito di sperimentare la capacitò di eseguire l’attività di activity recognition del nostro sistema.