HoloKnee : development of a cloud-based mixed reality application for knee osteotomy planning

In the last few years, the medical field was remarkably revolutionized by the major improvements in terms of software and hardware technologies. In particular, reality technologies, such as mixed reality (MR), appears to represent a turning point in the medical practice. In this work, the development and improvement of a mixed reality application designed for HoloLens 2 will be discussed. The application developed is called HoloKnee and it is intended for pre-operative planning of knee osteotomy. Even if MR technologies attracted significant attention in the recent years for its potential in the support of the clinical practice, the integration between the device and the patients database is still inadequate. To overcome this major issue, the application was designed to be completely cloud-based, storing all the clinical data in Microsoft Azure. In the first design phase, a user-friendly application was developed in Python to load and sort all the patient data in Microsoft Azure, making the data easily retrievable directly from the MR application. Then, the second phase was devoted to the design of the HoloLens application, with eight scenes characterized by different holographic elements. The available data were the patient’s biographical and anamnestic information, lower limb preoperative X-rays and CT scans, 3D surface models of the tibia and femur, and the surgical planning. Furthermore, two simulation tools were implemented: one using the 3D models of femur and tibia, the other using a pre-operative X-rays image. The application was evaluated with the support of 11 surgeons with different degree of expertise in orthopaedics. The participants were asked to perform eight tasks and the execution times were recorded. This test was repeated three times and in two different days. After that, the users were asked to answer two different questionnaires regarding their opinions on the technology. The results are encouraging, showing a clear improvement of the confidence in the users and very positive feedback in the overall user’s experience. This thesis work is intended to be a further step towards the possible introduction of a MR application in the clinical practice.

Recentemente, la medicina è stata profondamente rivoluzionata dagli importanti miglioramenti delle tecnologie hardware e software. In particolare, le tecnologie di realtà, come la realtà mista (MR), sembrano rappresentare il punto di svolta nella pratica medica. In questo lavoro viene discusso lo sviluppo e il miglioramento di una applicazione di realtà mista per HoloLens 2. L’applicazione viene chiamata HoloKnee e ha lo scopo di supportare il medico durante la pianificazione degli interventi di osteotomia del ginocchio. Nonostante l’attenzione verso le tecnologie MR è in costante crescita per le loro potenzialità nel supporto clinico, l’integrazione tra dispositivo e database del paziente è ancora scarsa. Per questo, l’applicazione è stata progettata per essere interamente basata sul cloud, salvando tutti i dati clinici su Microsoft Azure. Nella prima fase, un’applicazione user-friendly è stata sviluppata in Python per caricare e catalogare tutti i dati del paziente in Microsoft Azure, rendendo così i dati facilmente accessibili dall’applicazione MR. Successivamente, la seconda fase è dedicata allo sviluppo dell’applicazione in HoloLens, con otto scene caratterizzate da diversi elementi olografici. I dati disponibili sono le informazioni anamnestiche del paziente, le immagini radiografiche e CT degli arti inferiori, i modelli di superficie di tibia e femore, e i documenti di planning. Inoltre, due strumenti di simulazione sono stati implementati: uno basato sui modelli tridimensionali di tibia e femore, un altro sulle immagini radiografiche. L’applicazione è stata poi testata su 11 medici con differenti gradi di esperienza nel campo dell’ortopedia. I partecipanti hanno dovuto svolgere otto attività e i tempi di esecuzione sono stati registrati. Questo test è stato ripetuto per tre volte in due giorni differenti. Successivamente, gli utenti sono stati intervistati due volte per raccogliere opinioni sulla tecnologia testata. I risultati sono incoraggianti e mostrano un costante aumento di confidenza nell’utilizzo dell’applicazione e un feedback molto positivo sull’esperienza generale degli utenti. Questo lavoro rappresenta un passo successivo verso la possibile introduzione di una applicazione di realtà mista nella pratica clinica.