Mixed reality applications and the human body : a set of case studies using Microsoft HoloLens

The purpose of this thesis is to study Mixed Reality (MR) technology applied to healthcare, developing innovative applications which could provide valuable support to this sector. Mixed Reality is the term used to indicate a technology that allows to anchor virtual objects to the real world and permits to observe and interact with it. The core of this research is Microsoft HoloLens, nerve centre of MR: it is the first fully self-contained holographic computer, developed by Microsoft. It is a head-mounted display unit which enable to engage with digital content and interact with holograms in the world around: holograms are responsive to the user and the world around him. The study carried out in this thesis focuses on the development of virtual tools applied to healthcare, for the supervision of moles and skin diseases in general, but also for virtual representation of medical information expressed in standard format: HoloLens is applied to three cases of study on the human body, each one with different scope. The first explored scenario is about representation of medical information, received in an acknowledged standard format (DICOM), then elaborated and offered through virtual interactive tool. Successively, the research shifts focus to the development of an 3D interface which express mole evolution on patients, by means of a 3D interactive body scan. The last application is about Face Tracking and how this feature could improve dermatology sector, engaging patients with their treatments. These scenarios share essentially the same purposes: provide an assistance tool to the doctors, improving the engagement of the patient, offering an ergonomic and cheap solution for operations which involve body studying. All the three scenarios have been implemented within Singular Factory, a company headquartered in Las Palmas, Spain.

Lo scopo di questa tesi è di studiare la tecnologia Mixed Reality (MR) applicata in ambito sanitario, sviluppando alcune applicazioni software innovative che potrebbero fornire un valido supporto in questo settore. Mixed Reality è il termine usato per indicare una tecnologia che permette di legare elementi virtuali al mondo reale. Il punto focale di questa ricerca è Microsoft HoloLens, dispositivo di punta della MR: è il primo computer olografico completamente autonomo, sviluppato da Microsoft. È un dispositivo che si indossa come un casco, e che consente di interagire con i contenuti digitali e con gli ologrammi nel mondo reale. Gli ologrammi sono in grado di rispondere ai comandi all'utente e hanno nozione dell’ambiente circostante. Lo studio condotto in questa tesi riguarda la messa a punto di strumenti virtuali applicati al settore della sanità, per la supervisione di nei della cute e delle malattie della pelle in generale, ma anche per la rappresentazione virtuale di informazioni mediche espresse in formato standard: HoloLens verrà applicato a tre casi di studio sul corpo umano, ognuno con un proprio scopo. Il primo scenario studiato riguarda la rappresentazione di informazioni mediche, ricevute in un formato standard riconosciuto (DICOM), elaborate e offerte tramite uno strumento virtuale e interattivo. Successivamente la ricerca si focalizza sullo sviluppo di un'interfaccia 3D che esprima l'evoluzione dei nei cutanei sui pazienti, mediante una scansione 3D del loro corpo, con la quale è possibile interagire. L'ultima applicazione riguarda il Face Tracking e come questa funzionalità potrebbe essere utilizzata per migliorare gli strumenti di monitoraggio dermatologico, consentendo un maggior coinvolgimento del paziente con il trattamento a cui è sottoposto. Queste applicazioni condividono essenzialmente gli stessi obiettivi: fornire uno strumento di assistenza ai medici, rendendo più efficace la collaborazione del paziente, offrendo una soluzione ergonomica ed economica per tutte quelle operazioni che impongono uno studio del corpo. Lo sviluppo di questi tre scenari è stato realizzato presso l’azienda Singular Factory, con sede a Las Palmas, Spagna.