AR radiotherapy: exploring 3d dose distribution

Augmented Reality (AR) is an emerging technique revolutionizing industry sectors overlapping digital information physical environment. In healthcare, AR bridges the gap between abstract concepts and tangible experiences, empowering patients and improving medical education. This thesis explores the integration of AR in radiation therapy to optimize treatment planning and improve patient outcomes. The proposed AR interface aims at three-dimensional visualization of the treatment plan, overcoming the limitations of current two-dimensional representations. In addition, it enables detailed comparisons of photon and proton plans, key modalities in radiation therapy. The emphasis is on proton therapy, which is gaining popularity due to its advantages such as the Bragg peak phenomenon that significantly minimizes radiation exposure to surrounding healthy tissues. To develop the interface, Unity was used with plugins like Volume Rendering and the Mixed Reality Toolkit (MRTK). 3DSlicer was used to obtain critical clinical data forming the technical backbone for interface development. The goal is to create an intuitive interface that optimizes clinicians' workflow efficiency. The interface was deployed on the Microsoft HoloLens 2, a powerful mixed reality device, and tested at the European Institute of Oncology by a team of nine experts. After the training, a questionnaire was administered to identify strengths and weaknesses. The feedback was overall positive. Indeed, the interface effectively communicates the details of dose delivery and fosters strong user engagement. However, there is still room for improvement, which can be filled with strong clinician interaction.

La Realtà Aumentata (AR) è una tecnologia emergente che sta trasformando vari settori industriali, consentendo l'integrazione di informazioni digitali nell'ambiente fisico. Nel campo della sanità, l'AR sta riducendo la distanza tra concetti astratti ed esperienze tangibili, fornendo nuove opportunità per coinvolgere i pazienti e migliorare la formazione medica. La tesi corrente si concentra sull'integrazione dell'AR nella radioterapia con l'obiettivo di ottimizzare la pianificazione del trattamento e migliorare i risultati per i pazienti. L'interfaccia AR proposta mira a visualizzare in modo tridimensionale il piano di trattamento, superando le limitazioni delle rappresentazioni bidimensionali attuali. Inoltre, consente un confronto dettagliato tra i piani di trattamento con fotoni e protoni, che sono modalità cruciali nella radioterapia. L'accento è posto sulla terapia con i protoni, che sta guadagnando popolarità grazie ai suoi vantaggi, come il fenomeno del picco di Bragg che riduce notevolmente l'esposizione alle radiazioni dei tessuti sani circostanti. Per lo sviluppo dell'interfaccia, sono stati utilizzati Unity con plugin come Volume Rendering e Mixed Reality Toolkit (MRTK), insieme a 3DSlicer per ottenere dati clinici fondamentali che costituiscono la base tecnica per lo sviluppo dell'interfaccia. L'obiettivo finale è creare un'interfaccia intuitiva che ottimizzi l'efficienza del flusso di lavoro medico. Questa interfaccia è stata implementata su Microsoft HoloLens 2, un potente dispositivo di realtà mista, e testata presso l'Istituto Europeo di Oncologia da un team di nove esperti. Dopo la formazione, è stato somministrato un questionario per identificare i punti di forza e di debolezza dell'interfaccia. Il feedback ricevuto è stato complessivamente positivo. Infatti, l'interfaccia comunica efficacemente i dettagli della somministrazione della dose e favorisce un forte coinvolgimento dell'utente. Tuttavia, c'è ancora spazio per miglioramenti, specialmente attraverso una più stretta collaborazione e interazione con i medici.