Engineering human connections in the magic room : from emotion recognition to affective synchronies visualization

This thesis aims to exploit the potential of interactive multisensory environments and AI-based emotion recognition to investigate which new roles may technology play in supporting and fostering emotional sharing. Full-body interactive environments, pushing the users to deal with the presence, facial expressions and gestures of others, represent the perfect background to investigate these emotional dimensions. As a matter of fact, participating in others’ embodied emotions is a fundamental prerequisite to be able to establish successful emotional connections with each other. This research materialized in the development of a new activity for the I3lab Magic Room, an interactive Multisensory Environment that integrates projections, "smart" physical objects and motion tracking, to create game-based activities infused with educational and learning aspects for children with and without disabilities. The idea is to measure emotional connections that naturally arise from the multi-sensory room’s stimuli and then, visually connect through projections those who share the same emotional experience. This activity would therefore allow us to make visible a connection that otherwise we would not be able to perceive. The hope is that of supporting teachers and educators in finding new and efficient ways to help children with special needs learning important social development skills, such as empathy. The main contribution of this thesis work is the design and implementation of: i) a novel physiology-based emotion recognition system, ii) a new and engaging experience within the Magic Room, iii) the integration of developed technologies into the Magic Room software and hardware platform.

Il presente lavoro di tesi si propone di sfruttare le potenzialità degli ambienti multisensoriali interattivi e del riconoscimento di emozioni basato su intelligenza artificiale per indagare quali nuovi ruoli la tecnologia possa avere nel supportare e favorire la condivisione emotiva. Gli ambienti interattivi “full-body”, portando gli utenti a confrontarsi con la presenza, le espressioni facciali e i gesti degli altri, rappresentano lo scenario perfetto per investigare queste dimensioni emotive. Infatti, la partecipazione alle emozioni altrui è un prerequisito fondamentale per connettersi emotivamente con gli altri. Questa ricerca si è concretizzata nello sviluppo di una nuova attività per la Magic Room di I3lab, un ambiente multisensoriale interattivo che integra proiezioni, oggetti "intelligenti" e motion tracking per creare esperienze di gioco intrise di aspetti educativi per bambini con e senza disabilità. L'idea è quella di rilevare le connessioni emotive che insorgono naturalmente grazie agli stimoli della stanza multisensoriale e, in seguito, collegare visivamente per mezzo di proiezioni coloro che condividono la stessa esperienza emotiva. Questa attività permetterebbe quindi di rendere visibile una connessione che altrimenti non riusciremmo a percepire. La speranza è quella di supportare insegnanti ed educatori nella ricerca di nuove ed efficaci metodologie per aiutare i bambini con bisogni speciali ad apprendere abilità sociali fondamentali, come l'empatia. Il principale contributo di questo lavoro di tesi è il design e l'implementazione di: i) un nuovo sistema di riconoscimento delle emozioni attraverso segnali fisiologici, ii) una nuova e coinvolgente esperienza per la Magic Room, iii) l'integrazione delle tecnologie sviluppate nella piattaforma software e hardware della Magic Room.