The earring store : an android virtual mirror augmented reality application based on the new android face detection feature

Mobile devices have widely spread over years, and particularly of Android OS based smartphones, introducing, consequently, a huge number of applications. In this paper I attempt to introduce android virtual mirror functionalities in an E-commerce prototype application in order to evaluate users reactions and behaviors. Augmented reality is being introduced in a growing number of applications and what I want to do is to establish whether its use in E-commerce applications can attract new costumers and improve the selling rate of the application. In order to verify my thesis, I have designed the prototype application, called "The Earring Store". "The Earring Store" is an android application that simulates a virtual earring store. I have adopted the Android 4.0 face detection functionality and used it as the basis of the head pose estimation in order to perform the virtual mirror effect. In order to improve the realism of the application, 3D models of the earrings have been designed. The catalogue of the application stores an image, its 3D model and some other data for each earring; it will be entirely managed through a RESTful webservice I have designed and created and that is in charge of acceding the database and provide the required data, in JSON format, to the application. An analysis of time performance, virtual mirror functionality performance and users impressions have been used to establish the effectiveness of the prototype and more in general, of the virtual mirror functionality in E-commerce applications. Users have broadly appreciated the virtual mirror functionality even though, due to some issues pertinent the android 4.0 face detection function, it does not work properly whenever the user rotates his/her head. Time performance has also been declared acceptable, download time of the catalogue and 3D models do not bother the users. Users also have stated that the virtual mirror functionality increases the interest towards the application and the items and that they are more willing into purchase an item from an application that includes the aforementioned virtual mirror functionality rather than from another application that does not.

I dispositivi mobile si sono diffusi ampiamente negli ultimi anni ed, in particolare, smartphone basati su Android OS introducendo, di conseguenza, un gran numero di applicazioni. In questo documento cerco di valutare le reazioni ed i comportamenti di utenti di fronte ad un applicazione E-commerce che contiene funzionalità virtual mirror. La realtà aumentata viene usata in un crescente numero di applicazioni di vario tipo e ciò che punto a stabilire è se il suo utilizzo in applicazioni E-commerce possa attrarre nuovi utenti ed incrementare le percentuali di vendita. Al fine di verificare la mia tesi, ho realizzato il prototipo dell’applicazione, chiamata "The Earring Store". Si tratta di un applicazione android di un negozio virtuale di orecchini. Ho adoperato la funzionalità di face detection di Android versione 4.0 e l’ho usata come base per la head pose estimation per l’effetto virtual mirror. Con l’intento di aumentare il realismo dell’applicazione, ho creato i modelli 3D degli orecchini. Il catalogo dell’applicazione che, per ogni orecchino, contiene un immagine, il suo modello 3D ed altri dati, sarà gestito interamente tramite un webservice di tipo REST che ho disegnato e realizzato e che si occupa di accedere al database e fornire i dati richiesti, in formato JSON, all’applicazione. Analisi delle performance temporali, della funzionalità virtual mirror e delle impressioni degli utenti sono state eseguite al fine di stabilire l’efficacia del prototipo e, più in generale, della funzionalità virtual mirror in un applicazione E-commerce. Gli utenti hanno largamente apprezzato la funzionalità virtual mirror anche se, a causa di alcuni problemi legati alla funzione face detection di Android 4.0, risulta altamente imprecisa quando l’utente ruota il capo. Le performance temporali sono state valutate accettabili, il tempo di download del catalogo e dei modelli 3D non infastidisce gli utenti. Gli utenti hanno affermato che la funzionalità virtual mirror aumenta l’interesse verso l’applicazione e gli oggetti "esposti" e che si sentono più propensi ad acquistare i suddetti oggetti che oggetti da altre applicazioni che non includono la funzionalità virtual mirror.