Enhancing surgical practice with OpenICE2Web : a comprehensive web-application for real-time data integration and visualization on HoloLens 2

In recent years, the medical field has experienced significant advancements through the integration of software and hardware technologies. Reality technologies, such as mixed reality (MR), have emerged as a pivotal development in medical practice. This thesis focuses on the development and enhancement of a full-stack web application, OpenICE2Web, designed for HoloLens 2, a cutting-edge mixed-reality device. OpenICE2Web is an integral component of the REFINE project, a collaborative effort between the Polytechnic University of Milan and NRGsys. The overarching goal of REFINE is to create an innovative HoloLens 2 application that supports clinicians during both pre- and intra-operative phases. Specifically, OpenICE2Web targets the intra-operative phase and serves as a tool for collecting and visualizing data obtained from several medical machines. The application encompasses two main components: the Client and the Server. The Server acts as a central hub, seamlessly gathering and integrating medical data from various machines through specialized client software. This consolidated data is then presented on a WebClient, equipped with a range of monitoring and visualization tools for medical parameters. OpenICE2Web endeavors to be an indispensable tool within the intra-operative module of the REFINE Project, empowering physicians with the advantages of Augmented Reality. By providing a comprehensive overview of vital parameters, this application ensures easy accessibility and real-time availability, enabling clinicians to make informed decisions during surgical procedures. Through the use of HoloLens 2's capabilities, OpenICE2Web strives to enhance the clinician's situational awareness and improve patient outcomes. Experimental results and benchmark values demonstrate the implementability of this work. The web application, OpenICE2Web, showcases its feasibility and effectiveness in collecting and visualizing medical data during the intra-operative phase. The results validate the potential of this technology to enhance medical practice and provide valuable support to clinicians in real-world scenarios.

Negli ultimi anni, il campo medico ha compiuto progressi significativi attraverso l'integrazione di tecnologie software e hardware. Le tecnologie di realtà Aumentata, come la Realtà Mista (MR), sono emerse come uno strumento fondamentale per la pratica medica. Questa tesi si concentra sullo sviluppo e sul miglioramento di OpenICE2Web, un'applicazione Web full-stack progettata per HoloLens 2, un dispositivo di realtà mista all'avanguardia. OpenICE2Web è una componente integrale del progetto REFINE, nato dalla collaborazione tra il Politecnico di Milano e NRGsys. L'obiettivo generale di REFINE è quello di creare un'applicazione HoloLens 2 innovativa che supporti i medici durante le fasi pre- e intra-operatorie. In particolare, OpenICE2Web si rivolge alla fase intra-operatoria e funge da strumento per la raccolta e la visualizzazione dei dati acquisiti da vari dispositivi medici. L'applicazione comprende due componenti principali: il client e il server. Il server svolge la funzione di hub centrale, raccogliendo e integrando, senza soluzione di continuità, i dati medici provenienti da diversi dispositivi tramite software client specializzati. Questi dati consolidati vengono poi presentati su un WebClient, dotato di una serie di strumenti di monitoraggio e visualizzazione dei parametri medici. OpenICE2Web vuole essere uno strumento indispensabile all'interno del modulo intraoperatorio del Progetto REFINE, mettendo a disposizione dei medici i vantaggi della Realtà Aumentata. Fornendo una panoramica completa dei parametri vitali, questa applicazione garantisce una facile accessibilità e disponibilità in tempo reale, consentendo ai medici di prendere decisioni informate durante le procedure chirurgiche. Sfruttando le funzionalità di HoloLens 2, OpenICE2Web mira ad aumentare la consapevolezza della situazione da parte del medico e di migliorare i risultati del paziente. I risultati sperimentali e i valori di benchmark dimostrano l'implementabilità di questo lavoro. L'applicazione web, OpenICE2Web, dimostra la sua fattibilità ed efficacia nel raccogliere e visualizzare i dati medici durante la fase intraoperatoria. I risultati convalidano il potenziale di questa tecnologia per migliorare la pratica medica e fornire un valido supporto ai medici in scenari reali.