Multi-sensory interactive experience design for emotion recognition and expression in children with autism

Children with autism or other neurodevelopmental disabilities experience the same emotions as any other child: joy, sadness, anger, fear, and happiness. But these children are unable to express these emotions by the standards of most people. Therefore, helping children with autism recognize and express their emotions will be beneficial in building human connections through shared emotions. This thesis will start from analyzing the emotion recognition characteristics of children with autism and summarize their weaknesses in emotion expression. A multisensory interaction experience design approach is proposed. Based on the specifics of the users, it is necessary to design an experience that promotes better basic emotion recognition and synchronous emotional connections between the autistic child and other players. The experience stimulates the user through visual elements (e.g., changes in colors and visible color patterns) and auditory elements (e.g., sounds and small musical breaks) that respond to manifestations of the users' emotions. This creates a relaxed atmosphere that continues to stimulate emotions throughout the experience. It encourages exploration and discovery of the relationship between self and others, expanding children's attention with the environment in the process of experience. This project is part of the developments of the "Magic Room" project, a project of the i3Lab of the Department of Electronics, Information and Bio engineering of Politecnico di Milano. It is based on the creation of multisensory interactive activities through a Magic Room application framework, which provides a professional operating environment for the integration of interaction design, combining projection devices, distributed auditory stimuli, tactile and interactile through full body interaction. This project involves the capture and visualization of emotional data through the use of artificial intelligence to extract information from biosensors. Focusing on communication content generation, this research design proposal will create a series of projection-based emotion visualizations and corresponding interactive experiences designed to stimulate emotions.

I bambini con autismo o altre disabilità del neuro sviluppo provano le stesse emozioni di ogni altro bambino: la gioia, la tristezza, la rabbia, la paura, e la felicità. Ma questi bambini non sono in grado di esprimere queste emozioni con i canoni della maggioranza delle persone. Pertanto, aiutare i bambini con autismo a riconoscere ed esprimere le loro emozioni sarà utile per costruire connessioni umane attraverso le emozioni condivise. Questa tesi partirà dall'analisi delle caratteristiche di riconoscimento delle emozioni dei bambini autistici e riassumerà i loro punti deboli nell'espressione delle emozioni. Viene proposto un approccio di progettazione dell'esperienza d'interazione multisensoriale. In base alle specificità degli utenti, è necessario progettare una esperienza che promuova un migliore riconoscimento delle emozioni di base e le connessioni emotive sincrone il bambino autistico e gli altri giocatori. L’esperienza stimola l’utente attraverso elementi visivi (e.g., modifiche dei colori e dei pattern di colore visibili) e uditivi (e.g., suoni e piccoli spezzi musicali) che rispondono a manifestazioni delle emozioni degli utenti. Si crea così un'atmosfera rilassata che continua a stimolare emozioni durante l’esperienza. Incoraggia l'esplorazione e la scoperta della relazione tra sé e gli altri, espandendo l'attenzione dei bambini con l'ambiente nel processo di esperienza. Questo progetto si inserisce all’interno degli sviluppi del progetto “Stanza Magica”, un progetto dell’i3Lab del Dipartimento di Elettronica, Informazione e Bioingegneria del Politecnico di Milano. Esso si basa sulla creazione di attività interattive multisensoriali attraverso un framework applicativo della Magic Room, che fornisce un ambiente operativo professionale per l'integrazione di interaction design, combinando dispositivi di proiezioni, stimoli uditivi distribuiti, tattili e interagitile tramite full body interaction. Questo progetto prevede la cattura e la visualizzazione di dati emozionali attraverso l’uso di intelligenza artificiale per estrarre informazioni dai biosensori. Concentrandosi sulla generazione di contenuti di comunicazione, questa proposta di ricerca progettuale creerà una serie di visualizzazioni di emozioni basate su proiezioni e le corrispondenti esperienze interattive progettate per stimolare le emozioni.