SoundShaping: a music and visual art therapy activity in augmented reality for people with neurodevelopmental disorders

This thesis presents SoundShaping, an Augmented Reality (AR) art therapy application designed to support individuals with Neurodevelopmental Disorders, particularly those with Autism Spectrum Disorder. SoundShaping combines drawing and music-making in AR, allowing users to engage in creative activities to enhance emotional regulation, attention, and engagement. Developed through a co-design process with a clinical center in Milan, the project incorporates feedback from practitioners and individuals with neurodevelopmental disorders to ensure accessibility and inclusivity across a range of cognitive and motor abilities. The methodology involved eight participants with mild to moderate Intellectual Disability and compared AR-based activities with traditional clinical assessments, offering insights into how AR might complement or enhance existing therapeutic approaches. Findings suggest that SoundShaping has potential benefits for emotional regulation and attentional skills, with high levels of user engagement and enjoyment observed during sessions. Furthermore, a preliminary adaptation of the Trail Making Test in AR indicates that AR may be particularly effective for individuals who face challenges with conventional, non-immersive testing formats. Key contributions of this thesis include the design and implementation of an inclusive, multisensory AR therapy tool, novel user interaction between drawing and music making through the sculpting mechanic, preliminary evidence of AR’s effectiveness in enhancing engagement and emotional regulation, and insights into adapting cognitive assessments for AR environments. Future research may extend SoundShaping for physical rehabilitation, enhance its musical interactivity, and further investigate AR’s role in cognitive testing.

Questa tesi presenta SoundShaping, un’applicazione di arteterapia in Realtà Aumentata (AR) progettata per supportare individui con disturbi del neurosviluppo (NDD), in particolare quelli con Disturbo dello Spettro Autistico. SoundShaping combina il disegno e la creazione musicale in AR, consentendo agli utenti di impegnarsi in attività creative che migliorano la regolazione emotiva, l’attenzione e il coinvolgimento. Sviluppato attraverso un processo di co-design con un centro clinico a Milano, il progetto incorpora feedback da parte di professionisti e individui con NDD per garantire accessibilità e inclusività in una vasta gamma di abilità cognitive e motorie. I risultati indicano che SoundShaping contribuisce positivamente alla regolazione emotiva e alle abilità attentive, con alti livelli di coinvolgimento e soddisfazione degli utenti osservati durante le sessioni. Inoltre, un adattamento preliminare del Trail Making Test in AR suggerisce che l’AR ha potenzialità per valutazioni cognitive basate su compiti, particolarmente per individui che potrebbero beneficiare di attività mediate dalla tecnologia. I contributi chiave di questa tesi includono la progettazione e l'implementazione di uno strumento di terapia AR inclusivo e multisensoriale, evidenze dell’efficacia della AR nei contesti terapeutici creativi e approfondimenti sull’adattabilità delle valutazioni cognitive negli ambienti AR. Le ricerche future potrebbero estendere SoundShaping alla riabilitazione fisica, migliorare la sua interattività musicale e indagare ulteriormente il ruolo della AR nelle valutazioni cognitive.