Contextualised gesture recognition in robotic-enhanced therapy for autism

Autism spectrum disorder (ASD) is a neurodevelopmental condition marked by challenges in communication and social skills. Early intervention is crucial for positive outcomes. In ASD, motor abnormalities and deficits in imitation of communicative gestures might be linked to atypical learning process. Thus, gesture training is key to support ASD children development. Robot-Enhanced Therapy (RET) appears promising in easing communication in ASD children, and Socially Assistive Robots can improve user engagement and social skills. The IOGIOCO project, led by Politecnico di Milano and Fondazione don Carlo Gnocchi, exploits a NAO robot for RET, emphasising gesture training to elicit generalisation of therapy outcomes to daily life. This thesis pursues a dual objective: implementing context-driven gestures from children's songs to structure social interactions, and developing a gesture recognition algorithm. Acquisitions involve 9 Typically Developing (TD) children, 21 healthy adults and 6 autistic children. Sessions are recorded with Azure Kinect for offline analysis. From the acquired data, we generate two training datasets: one from healthy adults, and one of both adults and TD children. A test set from ASD children data is used to assess offline model performances. We focus on two methods using a Residual Network: the multiclass framework considers all gestures from 3 songs; the binary one exploits the known sequences of gestures, considered standalone. Binary models trained on adults and TD children achieve 74\% average accuracy on the autistic children's offline test set, demonstrating good generalisation. Testing against the online protocol shows median times of 0.08 seconds in NAO-to-Azure communication and 0.12 seconds Azure-to-NAO for all gestures. These near real-time elapsed are crucial to maintain engagement and responsiveness in therapeutic settings.

Il disturbo dello spettro autistico (ASD) è disturbo del neurosviluppo caratterizzato da difficoltà nella comunicazione. L'intervento precoce è essenziale per risultati positivi. Nello spettro, anomalie motorie e deficit nell'imitazione dei gesti comunicativi potrebbero essere legati a un processo di apprendimento atipico. Allenare l’imitazione dei gesti è fondamentale per supportare lo sviluppo dei bambini autistici. La terapia rafforzata da robot (RET) con Robot Assistivi Sociali emerge come una strategia promettente per migliorare le abilità sociali e favorire la generalizzazione dei risultati terapeutici nel quotidiano. Il progetto IOGIOCO, sviluppato dal Politecnico di Milano in collaborazione con la Fondazione don Carlo Gnocchi, adotta il robot NAO per implementare un protocollo RET che enfatizza l'imitazione di gesti specifici. Questo studio vuole raggiungere due obiettivi: estrarre gesti semantici da canzoni per creare un contesto strutturato e migliorare l'interazione sociale, e sviluppare un algoritmo di riconoscimento gestuale. Le acquisizioni coinvolgono 9 bambini a sviluppo tipico (TD), 21 adulti sani e 6 bambini autistici. Le sessioni sono registrate con Azure Kinect. I dati sono divisi in 2 set per il training: uno con dati di soli adulti e l'altro con adulti e bambini TD; un test set con i dati dei bambini autistici è usato per valutare i modelli offline. Per il riconoscimento dei gesti abbiamo sviluppato due approcci con Rete Residuale: il metodo multiclasse considera tutti i gesti di 3 canzoni; quello binario sfrutta le sequenze di gesti note, considerando i gesti singolarmente. I modelli binari allenati su adulti e bambini TD hanno una precisione del 74\% sul test set, dimostrando buona generalizzazione. Il test online ha tempi mediani di 0,08 secondi da NAO a Azure e 0,12 secondi da Azure a NAO per tutti i gesti. L’invio dati tra Azure e NAO quasi in tempo reale è determinante per mantenere un'interazione responsiva e coinvolgente in terapia.