Conversational virtual reality for second language learning

The aim of this research is to explore the effects of DoYouSpeakOculus (DYSO), a Virtual Reality (VR) application on Oculus Quest specifically created for learning English as a second language (L2) in school-aged children and adolescents. DYSO consists of several activities, targeting specific morphosyntactic constructions, which were designed with the help of expert psycholinguists and divided into three different learning phases: vocabulary learning, comprehension and production. The learning process of morphological and grammatical aspects is guided by an Embodied Conversational Agent (ECA) that interacts with the user. Currently there are no VR applications that integrate an ECA with the specific aim to train the learning of the morphosyntactic aspects of a language. We hypothesize that DYSO would boost the learning of specific grammatical aspects of the L2, since the experience takes place in an ecological and stimulating context, which reduces the distance between the subject and the activity and allows the former to best express their potential. The integration of the ECA, would lead, in turn, to a greater automation of the experience and greater user involvement during the activity, providing users with the tools necessary for learning. As part of this research, we conducted a pilot study to explore the adoption potential, usability and likeability of DYSO. This pilot study was conducted with nine Italian adults (learning English as L2), with the primary goal of creating a baseline which will be applied to children and adolescents to understand if they would perform in line or below expectations. The pilot study led to very promising results and highlighted a great level of satisfaction with the overall experience. The obtained results from our research work turned out to be very promising and provided encouraging results for testing DYSO also with children and adolescents. Moreover, our work pointed out how designing the contents of VR applications with elements grounded on theory-driven approaches (such as psycholinguistics), offers many advantages still little exploited in HCI research.

Lo scopo di questa ricerca è esplorare gli effetti di DoYouSpeakOculus (DYSO), un’applicazione in Realtà Virtuale (RV) su Oculus Quest creata per l’apprendimento di specifici aspetti morfologici di una seconda lingua (L2) per bambini e adolescenti in età secolare. DYSO è costituita da diverse attività, rivolte a specifiche costruzioni morfosintattiche, progettate con esperti psicolinguisti e suddivise in tre fasi: acquisizione del vocabolario, comprensione e produzione. Nella scuola italiana, la L2 insegnata maggiormente è l’inglese. Il processo di apprendimento degli aspetti morfologici e grammaticali è guidato da un Agente Conversazionale (AC) che interagisce con l'utente. Attualmente non esistono applicazioni in VR che integrino un AC per allenare l'apprendimento degli aspetti morfosintattici di una lingua. Ipotizziamo che DYSO incentivi l'apprendimento di specifici aspetti grammaticali della L2, poiché l'esperienza si svolge in un contesto ecologico e stimolante, riducendo la distanza tra il soggetto e l'attività e consente ai primi di esprimere al meglio le proprie potenzialità. L'integrazione dell’ACI porta ad una maggiore automazione dell'esperienza, coinvolgendo l’utente e fornendo gli strumenti necessari per l'apprendimento. Come parte di questa ricerca abbiamo condotto uno studio pilota con lo scopo di esplorare il potenziale di adozione, l'usabilità e il gradimento di DYSO. Lo studio pilota è stato condotto con nove adulti italiani (che imparano l'inglese come L2), con l'obiettivo di creare una linea di base che verrà applicata a bambini e adolescenti per capire se si esibiranno in linea o al di sotto delle aspettative. Lo studio pilota ha portato a risultati molto promettenti evidenziando un grande livello di soddisfazione per l'esperienza complessiva. I risultati ottenuti dal nostro lavoro di ricerca si sono rivelati molto promettenti, fornendo risultati incoraggianti per testare DYSO anche su bambini e adolescenti. Inoltre, il nostro lavoro ha evidenziato come progettare i contenuti delle applicazioni VR con elementi fondati su approcci basati sulla teoria (come la psicolinguistica) offra molti vantaggi ancora poco sfruttati nella ricerca dell’HCI.