Development of an immersive augmented reality mobile experience: a study of AR mirroring effect

Augmented reality (AR) is an interactive experience that combines real-world and computer-generated content. In this field, the potential of real-time interaction has been understood and exploited by the artistic and creative world. This thesis aims at studying, developing, and combining technologically innovative ways of extracting and exploiting features of the user’s face to generate a mirroring effect in AR. This will be integrated with an interactive, creative AR experience designed for the public space by Swiss lab A-LL Creative Technology. The art piece will be experienced through mobile devices only, and it is also a study to understand which degree of immersive experience can be reached by a mobile-only creative piece. The technical focus is on retrieving, from the front camera of a smartphone, the greatest number of useful features regarding the user’s face, while simultaneously detecting surfaces with the rear camera, giving the possibility to place that mirror on those detected planes. This is part of the “Takeaway” section of the mobile-phone installation: a function that every user around the world can have access to, even if they are not in the place where the official event takes place. Research has been done to understand which is the best and most effective way of acquiring and using this information, and it turned out to be the use of two different CNNs, one for face detection that feeds another one for face landmarks estimation, allowing for a very detailed face tracking (468 points). Integration has been done to make it work with an AR rear-camera based session in the cross-platform game engine Unity, and on mobile phones. The evaluation has shown clear results and traced various ways for future development of the application. This research is not strictly theoretical, and it takes the context into deep consideration. Everything is made to be part of a piece of art that can be experienced. Thus, the goal is not only to be technologically efficient, but also to be working in the context of something pleasing, beautiful, and meaningful.

La realtà aumentata (AR) è un’esperienza interattiva che combina contenuti del mondo reale e generati dal computer. In questo campo il potenziale dell’interazione in tempo reale è stato compreso e sfruttato anche dal mondo artistico e creativo. Questa tesi ha lo scopo di studiare, sviluppare e combinare metodi tecnologicamente innovativi per estrarre e sfruttare varie informazioni del volto dell’utente, al fine generare un effetto specchio che funzioni in AR. Ciò sarà inserito in un’esperienza di realtà aumentata interattiva e creativa progettata per lo spazio pubblico dallo studio svizzero A-LL Creative Technology. L’opera d’arte sarà fruita solo attraverso dispositivi mobili. L’opera è anche uno studio per capire quale grado di immersività può essere raggiunta da un’opera creativa creata solo ed escluvamente per dispotivi mobili, come cellulari e tablet. Il focus tecnico è quello di estrarre, dalla fotocamera frontale di uno smartphone, il maggior numero di caratteristiche utili riguardanti il volto dell’utente, rilevando contemporaneamente le superfici con la fotocamera posteriore, dando la possibilità di posizionarvici uno specchio sopra. Tutto ciò fa parte della sezione “Takeaway” dell’opera: una funzione a cui possono accedere gli utenti di tutto il mondo, anche se non si trovano nel luogo in cui si svolge l’evento ufficiale. Sono state fatte ricerche per capire quale sia il modo migliore e più efficace per acquisire e utilizzare queste informazioni: è risultato essere l’uso di due diverse CNN, una per il rilevamento del volto, il cui output è usato da un altro modello per il tracciamento dei punti del volto, garantendo un risultato molto dettagliato (468 punti). Questo è stato integrato con una sessione di realtà aumentata, basata sulla fotocamera posteriore del dispositivo, nel motore di gioco multipiattaforma Unity, al fine di fare funzionare il tutto sui telefoni cellulari. Il test ha mostrato risultati chiari e convincenti, così come diverse strade per lo sviluppo futuro dell’applicazione. Questa ricerca non è strettamente teorica e tiene profondamente in considerazione il contesto. Tutto è fatto con il fine di far parte di un’opera d’arte che può essere vissuta. Pertanto, l’obiettivo non è solo quello di essere tecnologicamente efficienti, ma anche di lavorare nel contesto di qualcosa di piacevole, bello e significativo.