How augmented reality can improve the visualization of medical images

Augmented Reality (AR) is one of the technologies that is showing the greatest potential in an always widening range of fields of use, from entertainment to design and even healthcare. The most defining characteristic of AR consists of the possibility to overlap virtual objects, to be projected by a dedicated device, inside a real environment. Throughout this thesis, the development of a software prototype for the visualization of medical images and models in AR environments will be discussed, to demonstrate the potential of this technology in relation to the healthcare domain. To be more specific, the core of the project consists of an application aimed at displaying the information resulting from CT or MRI scans. The outcoming visual data are represented as arrays of slices for each of the three orthographic views on one side, and as the derived 3D models on the other. At this point, instead of relying on traditional digital equipment, these virtual entities are projected in front of the user’s eyes through the lenses of a last-generation Head Mounted Display (HMD) device that implements the methods and features provided by AR. Once the data have been properly refined and prepared to be imported inside the application following a programming phase in Unity, a virtual 3D model of the internal organs of the patient can be overlapped upon the patient himself, so that ultimately, it is possible to recreate the illusion for the user to be able to see through the patient’s skin with no visual distortion, providing at the same time an improved perception of the relative position of the inner body structures. Present techniques make use of such datasets primarily in the diagnostic stage, whereas it is possible to deploy the AR tools that have been embedded inside this application even in further phases of the disease treatment including surgery planning and training activities. Additionally, the possibility to connect a multitude of HMD devices together opens up to a great variety of collaborative working or learning situations, since they can be easily programmed to display the same scene from different angles. Despite the fact that there is still a lot of scope for improvements to refine the application and to streamline the data acquisition process, the foundations of this project have been set up, paving the way for a future integration with more sophisticated tools and visualization modes such as CFDs in the case of pathologies of the circulatory system or even surgery simulation procedures. In this way it will hopefully evolve into something actually usable in a real-life scenario.

La realtà aumentata (nota in inglese come Augmented Reality o AR) è una delle tecnologie che sta dimostrando il maggior potenziale in una gamma sempre più ampia di campi di utilizzo, dall'intrattenimento al design fino all'assistenza sanitaria. La caratteristica più specifica della realtà aumentata consiste nella possibilità di sovrapporre oggetti virtuali, da proiettare attraverso un dispositivo dedicato, all'interno di un ambiente reale. Nel corso di questa tesi verrà discusso lo sviluppo di un prototipo di software per la visualizzazione di immagini e modelli medici in contesti di realtà aumentata, per dimostrare il potenziale di questa tecnologia in relazione al settore sanitario. Più precisamente, il nucleo del progetto consiste in un'applicazione per la visualizzazione delle informazioni risultanti da scansioni TAC o MRI. I dati visivi in ​​uscita sono costituiti da una successione di immagini di sezioni per ciascuna delle tre viste ortografiche da un lato e come modelli 3D derivati ​​sull'altro. A questo punto, anzichè utilizzare apparecchiature digitali tradizionali, tali entità virtuali vengono proiettate dinanzi all'utente attraverso un dispositivo HMD (Head Mounted Display, letteralmente "display montato sulla testa") di ultima generazione che implementa i metodi e le funzionalità fornite dalla tecnologia AR. Una volta che i dati sono stati adeguatamente perfezionati e preparati per essere importati all'interno dell'applicazione dopo una fase di programmazione in Unity, un modello 3D virtuale degli organi interni del paziente può essere sovrapposto al paziente stesso, in modo che, in definitiva, sia possibile ricreare l'illusione per l'utente di essere in grado di vedere attraverso la pelle del paziente senza distorsioni visive, fornendo allo stesso tempo una migliore percezione della posizione relativa delle strutture interne dell'organismo. Le tecniche attuali utilizzano questi set di dati principalmente nella fase diagnostica, mentre è possibile implementare gli strumenti AR che sono stati incorporati all'interno di questa applicazione anche in successive fasi del trattamento della patologia, comprese la pianificazione chirurgica e le attività di formazione. Inoltre, la possibilità di collegare più dispositivi HMD insieme consente l'utilizzo in una grande varietà di situazioni di lavoro o apprendimento collaborativo, poiché possono essere facilmente programmati per visualizzare la stessa scena da diverse angolazioni. Nonostante il fatto che ci siano ancora molti margini di miglioramento per perfezionare l'applicazione e per semplificare il processo di acquisizione dei dati, le basi di questo progetto sono state create, aprendo la strada ad una futura integrazione con modalità e strumenti più sofisticati come visualizzazioni fluidodinamiche nel caso di patologie dell'apparato circolatorio o persino procedure di simulazione chirurgica. In questo modo potrebbe evolversi in qualcosa di realmente utilizzabile in uno scenario di vita reale.