Development and validation of serious games for emotion recognition and attention tracking in children

Neurodevelopmental disorders influence how the brain functions and alter neurological development, causing difficulties in social, cognitive, and emotional functioning. They comprise a wide spectrum of disorders, among which there are Autism Spectrum Disorder (ASD) and Attention Deficit Hyperactivity Disorder (ADHD), which often co-occur. The diagnosis process of these disorders is not an easy task, furthermore, some of the main criticalities are caused by general faults of healthcare systems. Given these premises, the aim of this work is to present the design and development of a platform of serious games that exploit the TrueDepth camera of an iPad Pro for emotion recognition and attention tracking, the main indicators of ASD and ADHD. Two versions of the serious game were developed, one that serve as a validation tool to assess the accuracy of the emotion recognition system, while the second one was the actual game provided to children. A group of 38 subjects participates in the study, 20 adults for the validation of the emotion tracker model and 18 children for the testing. Different emotion-tracking models were compared. The first one relies on the Euclidean distance, in particular on the minimum distance from the current expression to the calibrated emotions. The emotion recognition system achieved, on 7 classes, an accuracy of 0.78 in adults and 0.45 in children. Unlike the adult, the calibration for children was challenging, so a machine-learning approach with Random Forest was performed, resulting in an accuracy of 0.47 for children. The same model was used to classify emotion through valence and arousal proving good accuracies. Attention measurement was computed thanks to some combined factors: blink rate, gaze direction, face rotation, sex, and game performance. A machine learning model, utilizing Support Vector Machine, was trained with those metrics to predict children "at-risk". The dependent variable was found from the scores of the Bells test classifying subjects as "at risk" or "not at risk". The accuracy reached by the model is 0.94, demonstrating promising results.

I disturbi del neurosviluppo rappresentano una serie di condizioni che influenzano il funzionamento del cervello e alterano lo sviluppo neurologico, causando difficoltà in ambito sociale, cognitivo ed emotivo. Comprendono un ampio spettro di disturbi, tra cui il disturbo dello spettro autistico (ASD) e il disturbo da deficit di attenzione e iperattività (ADHD), spesso associati tra loro. La diagnosi di tali disturbi non è semplice, inoltre alcune delle principali criticità sono causate da carenze generali dei sistemi sanitari. Date queste premesse, l'obiettivo di questa tesi è presentare la progettazione e lo sviluppo di una piattaforma di serious game che sfrutti la fotocamera TrueDepth dell'iPad Pro per il riconoscimento delle emozioni e il tracciamento dell'attenzione, i principali indicatori di ASD e ADHD. Sono state sviluppate due versioni dell'applicazione, una come strumento di validazione per valutare il sistema di riconoscimento delle emozioni, mentre la seconda è il gioco vero e proprio, fornito ai bambini. Al progetto hanno partecipato 38 soggetti, 20 adulti per la validazione del modello e 18 bambini per il test. Diversi modelli per il riconoscimento delle emozioni sono stati utilizzati. Il primo è basato sulla distanza euclidea, in particolare sulla distanza minima tra l'espressione attuale che un soggetto sta facendo e quella di tutte le sue emozioni calibrate. Su 7 classi questo modello ha fornito un'accuratezza di 0.78 negli adulti, mentre nei bambini ne ha portato ad una di 0.45, molto più bassa. Per questo motivo è stato provato anche un modello di machine-learning con Random Forest, garantendo la rimozione della calibrazione, che ha portato ad un'accuratezza di 0.47 per i bambini. Lo stesso modello è stato utilizzato anche per classificare le emozioni secondo valence e arousal, dimostrando buoni risultati. Successivamente è stato calcolato il tracciamento dell'attenzione grazie alla combinazione di vari fattori: frequenza dei battiti di ciglia, direzione dello sguardo, rotazione del volto, sesso e performance del gioco. Si è usato Support Vector Machine allenandolo con queste metriche e utilizzando come variabile dipendente i risultati ottenuti dal test delle campanelle, che hanno permesso di classificare i bambini "a rischio" o "non a rischio". L'accuratezza ottenuta dal modello è di 0.94, dimostrando risultati molto promettenti.