Tapping language with Jupiter: a mixed reality application to study the correlation between language and movement

To engage with the world around us, we employ our natural capacity to communicate, which is defined as the comprehension and exchange of meaningful signals. As a result, the role of communication is vital in human lives, and language skills play a critical part in this scenario. So, what if we are unable to do so? Linguistic impairments (LI) are disorders that limit linguistic information processing. It is critical to identify LI early and accurately in order to support lifelong learning and well-being. Even yet, when children are extremely young or have a migratory background, this work becomes challenging. Existing diagnostic methods are often language-specific and inadequate for bilingual children, suggesting that new inclusive tools are necessary. Substantial evidence suggests that language and movement have an established relationship, and if this is reliable, the former might be used as a marker for the latter. The hypothesis behind our work is that movement can predict language, and to study this relationship, we created Jupiter, a Mixed (Augmented) Reality application for HoloLens2. We believe that HoloLens, an immersive non-linguistic technology, could be a viable option to assist researchers and therapists in this field. Jupiter delivers an immersive experience based on numerous visual and aural stimuli incorporating motor movements, which should leverage the abilities required to execute specific language activities, as well as specific data collecting and easy customization of the application experience. To validate our theory and the application, we conducted two studies, one empirical and one on user experience, involving 22 typical participants and 9 atypical ones. Our findings corroborate the UX's quality and give some additional empirical data on the relationship between language and movement.

Per interagire con il mondo che ci circonda, utilizziamo la nostra naturale capacità di comunicare, definita come la comprensione e lo scambio di segnali significativi. Di conseguenza, il ruolo della comunicazione è fondamentale nella vita degli esseri umani e le competenze linguistiche svolgono un ruolo cruciale in questo scenario. Ma cosa succede se non siamo in grado di farlo? I disturbi del linguaggio (DL) sono disturbi che limitano l'elaborazione delle informazioni linguistiche. È fondamentale identificare precocemente e accuratamente i DL per sostenere l'apprendimento e il benessere per tutta l'arco di vita delle persone. Tuttavia, quando i bambini sono molto piccoli o hanno un background migratorio, questo lavoro diventa difficile. I metodi diagnostici esistenti sono spesso legati alla specifica lingua e inadeguati per i bambini bilingui, il che suggerisce la necessità di nuovi strumenti inclusivi. Numerose prove suggeriscono che il linguaggio e il movimento hanno una relazione consolidata e, se questa è attendibile, il primo potrebbe essere utilizzato come marcatore del secondo. L'ipotesi alla base del nostro lavoro è che il movimento possa predire il linguaggio e, per studiare questa relazione, abbiamo creato Jupiter, un'applicazione di realtà mista (aumentata) per HoloLens2. Riteniamo che HoloLens, una tecnologia immersiva e non linguistica, possa essere una valida opzione per assistere ricercatori e terapeuti in questo campo. Jupiter offre un'esperienza immersiva basata su numerosi stimoli visivi e uditivi che incorporano movimenti motori, i quali dovrebbero far leva sulle abilità necessarie per eseguire attività linguistiche specifiche, nonché sulla raccolta di dati specifici e sulla facile personalizzazione dell'esperienza applicativa. Per convalidare la nostra teoria e l'applicazione, abbiamo condotto due studi, uno empirico e uno sulla user experience, coinvolgendo 22 partecipanti tipici e 9 atipici. I nostri risultati confermano la qualità dell'UX e forniscono ulteriori dati empirici sulla relazione tra linguaggio e movimento.