Mixed reality in education : a new approach beyond 3D models

This work aims to introduce a novel approach that could enhance the educational experience through Mixed Realty (MR). The analysis of the state of the art of educational MR applications exposes a common trait: the usage of 3D models as the main content. The central role of 3D models led to some design limitations. Among others, the most significant problem is the low level of customisation. Handling 3D models requires competencies that teachers often do not have. Moreover, 3D models are expensive and time-consuming to develop. All these issues led to the design of educational MR applications suited ad hoc for particular purposes with an extremely low degree of customisation in terms of content. We proposed a novel approach that uses MR to represent concepts instead of objects. We represent concepts through the combination of images, text, and primitive forms such as cubes and cards. Through these traditional media, we can overcome the limitations of 3D models. The representation of concepts is exploited to design structured MR activities. Our novel approach opens the door to the development of applications with a high level of customisation. We developed 5 structured and multidisciplinary activities. They are independent of the specific subject matter and can be customised by teachers in terms of content. We exploited different instructional strategies, such as task-based learning, gamification, and collaboration. The result is a learning spaces where students and teachers, in the same place or remotely, can interact together and with virtual concepts for empowering memorization, collaboration and engagement, for a personalised, shared, and immersive learning experience. We had the opportunity to test our novel approach and activities in a real school-classroom and at various events. The collected results are very promising in terms of usability and student satisfaction. The outcomes make us believe that our novel paradigm can have an impact on the learning experience.

Lo scopo di questa tesi è di proporre un nuovo approccio per migliorare l’esperienza educativa attraverso la Mixed Reality (MR). L’analisi dello stato dell’arte riguardante le applicazioni MR in ambito educativo ne evidenzia un tratto comune: l’uso dei modelli 3D come contenuto principale. Il ruolo centrale dei modelli 3D porta ad alcune limitazioni in fase di sviluppo, tra cui il basso livello di personalizzazione dei contenuti. Trattare modelli 3D richiede competenze che spesso gli insegnanti non hanno, per di più spesso sono costosi e richiedono tempo per essere sviluppati. Questi problemi portano al design di applicazioni che sono pensate ad hoc per determinati scopi ma che sono difficilmente adattabili a contesti differenti. Noi proponiamo un nuovo approccio che vede la MR come uno strumento per rappresentare concetti invece che oggetti. La rappresentazione di concetti avviene tramite la combinazione di testi, immagini e forme primitive come cubi e carte. Attraverso questi media tradizionali, possiamo superare le limitazioni introdotte dal ruolo centrale dei modelli 3D. Il nostro nuovo approccio apre le porte allo sviluppo di applicazioni con un alto livello di personalizzazione. Abbiamo sviluppato 5 attività strutturate e multidisciplinari che sono indipendenti dallo specifico argomento trattato e possono essere personalizzate dagli insegnanti in termini di contenuto. Abbiamo sfruttato diverse strategie didattiche, tra cui il completamento di task, la gamification e la collaborazione. Il risultato è un ambiente di apprendimento in realtà aumentata che consente a studenti e insegnanti, nello stesso luogo o da remoto, di interagire insieme attraverso la manipolazione di concetti e lo svolgimento di attività. Il fine è quello di favorire la memorizzazione e la comprensione attraverso un'esperienza personalizzabile in termini di contenuti. Abbiamo avuto l'opportunità di testare il nostro progetto in un contesto scolastico e in occasione di vari eventi. I risultati raccolti sono molto promettenti in termini di usabilità e soddisfazione degli studenti, e ci lasciano credere che il nostro nuovo paradigma possa avere un impatto sull'esperienza di apprendimento.