Multi-modal data consultation in surgery integrating deep learning and touchless technologies

The visualization of multi-modal patient data is a priority in surgery, spanning both preoperative planning and intraoperative phase. In particular, the utilization of three-dimensional (3D) reconstructed models of anatomical and pathological targets is increasingly adopted. This approach offers a faster and unified representation of the information, leading to improved outcomes and reduced operative times. In this thesis project, surface rendering is employed to reconstruct 3D models from CT scans. The CEL-UNet architecture is used for segmentation and a marching cubes-based algorithm is used for reconstruction. State-of-theart performance is achieved in segmenting and reconstructing shoulder, knee and liver-tumor models, while underperformance is observed for pancreas and pancreastumor. The integrated visualization of the reconstructed models, along with heterogeneous data, is performed thanks to a custom developed application in the Unity 3D engine. Touchless interactions are enabled by integrating the Ultraleap’s Leap Motion Controller 2 hand-tracking sensor, allowing sterility of interaction and enhancing immersion and comprehensive understanding of patient conditions. Overall, this thesis project presents a standardized pipeline that starts form the raw patient data up to the reconstruction of three-dimensional models and their consultation, along with the integration of multi-modal data.

La visualizzazione di dati multimodali del paziente è una priorità in chirurgia sia in fase di pianificazione preoperatoria che in fase intraoperatoria. In particolare, l’uso di modelli tridimensionali (3D) ricostruiti di strutture anatomiche e patologiche sta diventando sempre più comune. Questi modelli permettono di ottenere una rappresentazione rapida e standardizzata delle informazioni, migliorando i risultati e riducendo i tempi operatori. In questo progetto di tesi, è stata utilizzata la tecnica del surface rendering per ricostruire modelli 3D a partire da scansioni TC, impiegando l’architettura CEL-UNet per la segmentazione e un algoritmo basato su marching cubes per la ricostruzione. I risultati ottenuti sono comparabili con lo stato dell’arte per la segmentazione e la ricostruzione di modelli di spalla, ginocchio, fegato e tumori epatici, mentre sono riscontrati risultati non ottimali nel caso del pancreas e dei tumori pancreatici. La visualizzazione integrata di modelli ricostruiti insieme a dati eterogenei, è stata realizzata attraverso un’applicazione sviluppata con il motore Unity 3D. Interazioni senza contatto sono state rese possibili grazie all’integrazione del sensore di tracciamento delle mani Leap Motion Controller 2, garantendo la sterilità dell’interazione e migliorando l’immersività e la comprensione delle condizioni del paziente. Nel complesso, questo progetto di tesi presenta una pipeline standardizzata che, partendo dai dati grezzi del paziente, permette la ricostruzione di modelli tridimensionali e la loro consultazione integrata con dati multi-modali.