Design and implementation of a natural user interface to support the annotation process for multimedia learning

Lectures based on Power Point slides are widely diffuse nowadays in universities. The use of such method facilitates displaying diverse formats of multimedia content such as images, audio and video. However, in the other hand, it brings challenges to professors to engage student’s participation mainly due the passive situation in which students are in this approach and often lack of interactivity student-professor. This thesis work explores the cognitive aspects for multimedia learning and the nature of the notes taken by students in order to understand the main issues dealt by them and consequently collect requirements for a software solution to support the annotation process for multimedia learning in a classroom. This work continues by introducing the paradigm of Natural User Interfaces and suggests properties of this paradigm, such as immersiveness to the content and increase in interactivity, as solutions to engage actively students with the lecture content and consequently contribute for enhancing the multimedia learning. Furthermore recent technologic outcomes are introduced to support the design and development on Natural User Interfaces paradigm such as Windows 8 and the applicatives on Windows Store running on this platform. The process of design uses all the requirements identified in previous analysis and adequate them to the standard navigation, commanding and gestures patterns defined for Windows Store App. Polinotes Student App is the result of the software implementation. It is compatible with Windows App Store and acts as a client able to receive multimedia content from Power Point slides (through the connectivity with Polinotes package) and at the same time contains the basic resources for supporting the annotation process of a student together with the multimedia content just brought.

Lezioni basate su diapositive Power Point sono ampiamente diffuse al giorno d'oggi nelle università. L'utilizzo di questo metodo facilita la visualizzazione di diversi formati di contenuti multimediali come immagini, audio e video. Comunque, questo porta sfide per docenti di coinvolgere la partecipazione dello studente principalmente a causa della situazione passiva in cui gli studenti sono in questo approccio e spesso mancano di interattività studente-professore. Questo lavoro di tesi esplora gli aspetti cognitivi di apprendimento multimediali e la natura degli appunti presi dagli studenti, al fine di comprendere le principali questioni trattate da loro e di conseguenza raccogliere i requisiti di una soluzione software per supportare il processo di annotazione per l'apprendimento multimediale in una classe. Questo lavoro continua con l'introduzione del paradigma delle Natural User Interfaces e propone proprietà di questo paradigma, come immersività al contenuto e aumento di interattività, come soluzioni per coinvolgere attivamente gli studenti con il contenuto di lezione e di conseguenza contribuire per migliorare l'apprendimento multimediale. Inoltre, recenti risultati tecnologici vengono introdotti a supporto della progettazione e dello sviluppo sul paradigma Natural User Interfaces, come Windows 8 e gli applicativi su Windows Store di questa piattaforma. Il processo di progettazione si avvale di tutti i requisiti individuati nella precedente analisi e adeguata a standard navigazione, comando e modelli di gesti definiti per Windows App Store. Polinotes Student App è il software risultato dell' implementazione. E 'compatibile con Windows Store App e agisce come un client in grado di ricevere contenuti multimediali da diapositive Power Point (tramite la connettività con il pacchetto Polinotes) e al tempo stesso contiene le risorse di base per sostenere il processo di annotazione di uno studente con la multimedialità contenuto appena portato.