Design of a projection latency compensation in Head Mounted Displays (HMDs)

A Head-Mounted Display (HMD) is a headset with a compact optical display in front of the user’s eyes. This enables Augmented Reality (AR) interactive experiences that transform the impression of the surrounding world by "enhancing" natural physical objects with computer-generated information. One of the most critical challenges that must be overcome in augmented reality is the accurate alignment of the virtual world with the actual one, so the virtual features are perceived by the user as if they are in the real world. All the devices used in augmented reality show a delay in their output and cause the alignment to be time delayed with the actual scene. For instance, cameras have a certain amount of latency when it comes to sending the collected image to the receiver so that it can be processed. This thesis aims to compensate for these latencies. In order to compensate for latencies, it is vital to have a solid grasp of their values in the process of generating and projecting the images on the headset lenses. For this reason, state-of-the-art measuring techniques have been deeply analyzed and used to calculate the latencies of a development headset. A localization algorithm has been developed to track the movements of the user’s head, taking advantage of computer vision techniques to track fiducial characteristics fixed within the environment. An extended Kalman filter has been developed to fuse this information with the measures from gyroscopes embedded in the headset and improve the algorithm's robustness. An additional software layer has been developed to compensate for the latencies. This predicts the orientation of the HMD in the future using the current HMD wearer’s head orientation estimate and angular velocity measure. The final software package has been implemented in a game engine called Unity. It has been finally tested using a development headset (the Lumus DK-Vision H) equipped with a camera and an IMU (StereoLabs Zed Mini).

Un HMD (Head-Mounted Display) è un dispositivo indossabile dotato di un display posto proprio di fonte agli occhi dell'utente. Questo consente di avere esperienze interattive di Realtà Aumentata (AR), in cui al mondo reale vengono sovrapposti degli oggetti virtuali, percepiti dall’utente come se fossero oggetti reali nel mondo. Una delle sfide più critiche che devono essere superate in questo campo è l'allineamento accurato del mondo virtuale con quello reale, in modo che le caratteristiche virtuali siano effettivamente percepite dall'utente come se si trovassero nel mondo reale. Tutti i dispositivi utilizzati nella realtà aumentata hanno dei ritardi interinseci. Ad esempio, le telecamere hanno una certa latenza quando si tratta di inviare le immagini catturate al pc per l’elaborazione. L’obiettivo di questa tesi è quello di sviluppare una serie di tecniche per compensare queste latenze. Per capire i valori reali dei ritardi è stata fatta una ricerca in letteratura per identificare i metodi più corretti per la loro misura. Questi metodi sono stati poi utilizzati per capire le reali latenze dell’headset AR utilizzato per lo sviluppo di questa tesi. Per tracciare i movimenti della testa è stato sviluppato un algoritmo di localizzazione, sfruttando tecniche di computer vision per localizzare marker fiduciari posizionati nell'ambiente. È stato poi studiato e sviluppato un filtro di Kalman esteso per fondere queste informazioni con le misure dei giroscopi e degli accelerometri integrati nell’headset e migliorare la robustezza dell'algoritmo. È stato inoltre sviluppato un livello software addizionale, per compensare le latenze. Questo consente di fare un predizione sulla rotazione futura della testa partendo dalla stima corrente di rotazione e dalle misure di velocità angolare fornite dai giroscopi. Il pacchetto software finale è stato implementato in Unity, un popolare motore grafico. È stato infine testato utilizzando un headset di sviluppo (il Lumus DK-Vision H) dotato di fotocamera e IMU (StereoLabs Zed Mini).