The integration of robotic platforms in medical procedures has significantly advanced due to their ability to minimize patient trauma, reduce risk of infection, and shorten recovery times. Additionally, robotic technologies offer substantial benefits for surgeons, including reduced mental workload and improved ergonomics. Human-robot interaction (HRI), in particular, has emerged as a crucial area of research aimed at enhancing the accuracy and efficiency of various procedures. Despite these advancements over the past decades, the application of assistive technologies in neurosurgery remains limited. Neurosurgery, which addresses brain and spine issues, demands a high degree of precision and involves lengthy operations that impose considerable physical and mental strain on surgeons. Consequently, the adoption of assistive robotic technologies could bring significant benefits to neurosurgical applications. In this context, this PhD thesis aims to develop robotic assistive frameworks tailored for neurosurgical applications, with a focus on both brain and spine surgery. This includes the creation of an autonomous exoscope for brain surgery and a collaborative human-robot framework for spine surgery. These research directions were chosen based on extensive discussions with neurosurgeons, who identified the most critical areas for improvement and emphasized the need for tools that can alleviate the physical and cognitive strains they experience, improve procedural outcomes, and enhance patient safety. The research focuses on the following key areas: 1. The development of an autonomous exoscope for brain surgery. A redundant robotic manipulator equipped with an eye-in-hand stereo camera was employed to keep a specific tool centered within the field of view. This system utilizes a visual-servoing framework, where images captured by the camera are processed to detect and track the center of the instrument's distal region (CDR) using a convolutional neural network. Validation results demonstrate the system's capability to track the tool with average tracking errors of 0.5 ± 0.17 cm for slow (0.0 - 1.0 cm/s) motion, 0.90 ± 0.37 cm for medium (1.0 - 1.5 cm/s) motion, and 1.38 ± 0.73 cm for fast motion (1.5 - 2.5 cm/s). 2. A hybrid tracking module that combines optical flow and particle filter prediction. This module is developed for the autonomous exoscope system to enhance real-time tracking capabilities and minimize system latency. The hybrid module combines the precision of the optical flow tracking components with the predictive power of a particle filter. The optical flow efficiently tracks the surgical tool between consecutive frames, while the modified particle filter forecasts the tool's future position. The performance of the proposed module was assessed by comparing it with three other approaches and proved its superiority with the lowest tracking error recorded at 9.84 ± 0.08 mm and 13.11 ± 0.39 mm for low (2.5 cm/s) and high (4 cm/s) speed, respectively. 3. The development of a shared control framework to enable material recognition in spine surgery. This is obtained by introducing a variable impedance control strategy where the stiffness of the robot is modulated based on contact force with the environment and the operator’s electromyography (EMG) signals. System stability and reliability were validated through contact tasks using different materials demonstrating increased stiffness without causing end-effector oscillations. Furthermore, the framework ensures low end-effector contact force and displacement, thereby reducing the risk of damaging delicate structures. 4. A shared control framework based on Virtual-Fixture to assist surgeons during drilling tasks in spine surgery. The system employs virtual fixtures to guide users along pre-planned cutting paths while restricting movements to safeguard delicate structures. Attractive and repulsive forces are generated based on the distance from the virtual fixture established during the planning phase. This allows users to accurately achieve the desired cutting angle for precise corrective measures. Results from the user study demonstrated an average tracking error during cutting tasks of 0.54 ± 0.34 mm in the sagittal plane and 1.0 ± 0.69 mm in the coronal plane, indicating significantly higher cutting accuracy compared to traditional manual procedures. The overall results presented underscore the potential of integrating robotic platforms into the neurosurgical domain, by improving task performances and reducing workload experienced by users. In the future perspective, this research marks a step forward towards integrating assistive technologies in both brain and spine surgery.

L'integrazione delle piattaforme robotiche nelle procedure mediche è progredita in modo significativo grazie alla loro capacità di minimizzare il trauma del paziente, ridurre il rischio di infezioni e abbreviare i tempi di recupero. Inoltre, le tecnologie robotiche offrono notevoli vantaggi ai chirurghi, tra cui la riduzione del carico di lavoro mentale e il miglioramento dell'ergonomia. L'interazione uomo-robot (HRI), in particolare, è emersa come un'area cruciale di ricerca volta a migliorare l'accuratezza e l'efficienza di varie procedure. Tuttavia, nonostante i progressi degli ultimi decenni, l'applicazione delle tecnologie assistive in neurochirurgia rimane limitata. La neurochirurgia, che si occupa di problemi al cervello e alla colonna vertebrale, richiede un alto grado di precisione e comporta operazioni lunghe che impongono un notevole sforzo fisico e mentale ai chirurghi. Di conseguenza, l'adozione di tecnologie robotiche assistive potrebbe apportare notevoli benefici alle applicazioni neurochirurgiche. In questo contesto, la presente tesi di dottorato mira a sviluppare strutture robotiche assistive per applicazioni neurochirurgiche, con particolare attenzione alla chirurgia cerebrale e spinale. Ciò include la creazione di un esoscopio autonomo per la chirurgia cerebrale e di un framework collaborativo uomo-robot per la chirurgia della colonna vertebrale. Queste direzioni di ricerca sono state scelte sulla base di ampie discussioni con i neurochirurghi, che hanno identificato le aree più critiche da migliorare e hanno sottolineato la necessità di strumenti in grado di alleviare le tensioni fisiche e cognitive che incontrano, migliorare i risultati delle procedure e aumentare la sicurezza dei pazienti. La ricerca si concentra sulle seguenti aree: 1. Lo sviluppo di un esoscopio autonomo per la chirurgia cerebrale. È stato impiegato un manipolatore robotico ridondante dotato di una stereocamera in cofigurazione eye-in-hand per mantenere uno strumento specifico al centro del campo visivo. Questo sistema utilizza un sistema di asservimento visivo, dove le immagini catturate dalla telecamera vengono elaborate per rilevare e tracciare il centro della regione distale dello strumento (CDR) utilizzando una rete neurale convoluzionale. I risultati di validazione dimostrano la capacità del sistema di tracciare lo strumento con errori medi di tracciamento di 0.5 ± 0.17 cm per movimenti lenti (0.0 - 1.0 cm/s), 0.90 ± 0.37 cm per movimenti medi (1.0 - 1.5 cm/s), e 1.38 ± 0.73 cm per movimenti veloci (1.5 - 2.5 cm/s). 2. Un modulo di tracciamento ibrido che combina optical flow e particle filter. Questo modulo è stato sviluppato per il sistema autonomo dell'esoscopio per migliorare le capacità di tracciamento in tempo reale e ridurre al minimo la latenza del sistema. Il modulo ibrido combina la precisione dell'optical flow con il potere predittivo del particle filter. Il flusso ottico traccia in modo efficiente lo strumento chirurgico tra fotogrammi consecutivi, mentre il filtro di particelle modificato prevede la posizione futura dello strumento. Le prestazioni del modulo proposto sono state valutate confrontandolo con tre altri approcci e ha dimostrato la sua superiorità con il più basso errore di tracciamento registrato a 9.84 ± 0.08 mm e 13.11 ± 0.39 mm per velocità basse (2.5 cm/s) e alte (4 cm/s), rispettivamente. 3. Lo sviluppo di un framework di controllo condiviso per consentire il riconoscimento dei materiali nella chirurgia spinale. Questo è ottenuto introducendo una strategia di controllo ad impedenza variabile in cui la rigidità del robot è modulata in base alla forza di contatto con l'ambiente e ai segnali di elettromiografia (EMG) dell'operatore. La stabilità e l'affidabilità del sistema sono state validate attraverso task di contatto utilizzando diversi materiali, dimostrando un aumento della rigidità senza causare oscillazioni dell'end effector. Inoltre, il framework garantisce una bassa forza di contatto e uno spostamento dell'end-effector ridotti, riducendo così il rischio di danneggiare strutture delicate. 4. Un framework di controllo condiviso basato su Virtual Fixture per assistere i chirurghi durante task di perforazione in chirurgia spinale.} Il sistema utilizza fixture virtuali per guidare gli utenti lungo i piani di taglio pre-pianificati, limitandone al contempo i movimenti per preservare strutture delicate. Forze attractive e repulsive vengono generate in base all distanza dalla virtual fixture stabilita durante la fase di pianificazione. Ciò consent agli utenti di ottenere con prexisione l'angolo di taglio desiredato per interventi corrective precisi. I risultati dello studio condotto sugli utenti hanno mostrato un errore di tracciamento medio durante task di taglio di 0.54 ± 0.34 mm per il piano sagittale e 1.0 ± 0.69 mm nel piano coronale, indicando una precisione di taglio significativamente superiore rispetto alle procedure manuali tradizionali. I risultati complessivi presentati sottolineano il potenziale dell'integrazione di piattaforme robotiche nel dominio neurochirurgico, migliorando le prestazioni dei task e riducendo il carico di lavoro degli utenti. In prospettiva futura, questa ricerca segna un passo avanti verso l'integrazione di tecnologie assistive sia nella chirurgia cerebrale che in quella spinale.

Development of assistive robotic solutions to increase safety in neurosurgery

Iovene, Elisa
2024/2025

Abstract

The integration of robotic platforms in medical procedures has significantly advanced due to their ability to minimize patient trauma, reduce risk of infection, and shorten recovery times. Additionally, robotic technologies offer substantial benefits for surgeons, including reduced mental workload and improved ergonomics. Human-robot interaction (HRI), in particular, has emerged as a crucial area of research aimed at enhancing the accuracy and efficiency of various procedures. Despite these advancements over the past decades, the application of assistive technologies in neurosurgery remains limited. Neurosurgery, which addresses brain and spine issues, demands a high degree of precision and involves lengthy operations that impose considerable physical and mental strain on surgeons. Consequently, the adoption of assistive robotic technologies could bring significant benefits to neurosurgical applications. In this context, this PhD thesis aims to develop robotic assistive frameworks tailored for neurosurgical applications, with a focus on both brain and spine surgery. This includes the creation of an autonomous exoscope for brain surgery and a collaborative human-robot framework for spine surgery. These research directions were chosen based on extensive discussions with neurosurgeons, who identified the most critical areas for improvement and emphasized the need for tools that can alleviate the physical and cognitive strains they experience, improve procedural outcomes, and enhance patient safety. The research focuses on the following key areas: 1. The development of an autonomous exoscope for brain surgery. A redundant robotic manipulator equipped with an eye-in-hand stereo camera was employed to keep a specific tool centered within the field of view. This system utilizes a visual-servoing framework, where images captured by the camera are processed to detect and track the center of the instrument's distal region (CDR) using a convolutional neural network. Validation results demonstrate the system's capability to track the tool with average tracking errors of 0.5 ± 0.17 cm for slow (0.0 - 1.0 cm/s) motion, 0.90 ± 0.37 cm for medium (1.0 - 1.5 cm/s) motion, and 1.38 ± 0.73 cm for fast motion (1.5 - 2.5 cm/s). 2. A hybrid tracking module that combines optical flow and particle filter prediction. This module is developed for the autonomous exoscope system to enhance real-time tracking capabilities and minimize system latency. The hybrid module combines the precision of the optical flow tracking components with the predictive power of a particle filter. The optical flow efficiently tracks the surgical tool between consecutive frames, while the modified particle filter forecasts the tool's future position. The performance of the proposed module was assessed by comparing it with three other approaches and proved its superiority with the lowest tracking error recorded at 9.84 ± 0.08 mm and 13.11 ± 0.39 mm for low (2.5 cm/s) and high (4 cm/s) speed, respectively. 3. The development of a shared control framework to enable material recognition in spine surgery. This is obtained by introducing a variable impedance control strategy where the stiffness of the robot is modulated based on contact force with the environment and the operator’s electromyography (EMG) signals. System stability and reliability were validated through contact tasks using different materials demonstrating increased stiffness without causing end-effector oscillations. Furthermore, the framework ensures low end-effector contact force and displacement, thereby reducing the risk of damaging delicate structures. 4. A shared control framework based on Virtual-Fixture to assist surgeons during drilling tasks in spine surgery. The system employs virtual fixtures to guide users along pre-planned cutting paths while restricting movements to safeguard delicate structures. Attractive and repulsive forces are generated based on the distance from the virtual fixture established during the planning phase. This allows users to accurately achieve the desired cutting angle for precise corrective measures. Results from the user study demonstrated an average tracking error during cutting tasks of 0.54 ± 0.34 mm in the sagittal plane and 1.0 ± 0.69 mm in the coronal plane, indicating significantly higher cutting accuracy compared to traditional manual procedures. The overall results presented underscore the potential of integrating robotic platforms into the neurosurgical domain, by improving task performances and reducing workload experienced by users. In the future perspective, this research marks a step forward towards integrating assistive technologies in both brain and spine surgery.
DUBINI, GABRIELE ANGELO
PEDROCCHI, ALESSANDRA LAURA GIULIA
De Momi, Elena
12-nov-2024
L'integrazione delle piattaforme robotiche nelle procedure mediche è progredita in modo significativo grazie alla loro capacità di minimizzare il trauma del paziente, ridurre il rischio di infezioni e abbreviare i tempi di recupero. Inoltre, le tecnologie robotiche offrono notevoli vantaggi ai chirurghi, tra cui la riduzione del carico di lavoro mentale e il miglioramento dell'ergonomia. L'interazione uomo-robot (HRI), in particolare, è emersa come un'area cruciale di ricerca volta a migliorare l'accuratezza e l'efficienza di varie procedure. Tuttavia, nonostante i progressi degli ultimi decenni, l'applicazione delle tecnologie assistive in neurochirurgia rimane limitata. La neurochirurgia, che si occupa di problemi al cervello e alla colonna vertebrale, richiede un alto grado di precisione e comporta operazioni lunghe che impongono un notevole sforzo fisico e mentale ai chirurghi. Di conseguenza, l'adozione di tecnologie robotiche assistive potrebbe apportare notevoli benefici alle applicazioni neurochirurgiche. In questo contesto, la presente tesi di dottorato mira a sviluppare strutture robotiche assistive per applicazioni neurochirurgiche, con particolare attenzione alla chirurgia cerebrale e spinale. Ciò include la creazione di un esoscopio autonomo per la chirurgia cerebrale e di un framework collaborativo uomo-robot per la chirurgia della colonna vertebrale. Queste direzioni di ricerca sono state scelte sulla base di ampie discussioni con i neurochirurghi, che hanno identificato le aree più critiche da migliorare e hanno sottolineato la necessità di strumenti in grado di alleviare le tensioni fisiche e cognitive che incontrano, migliorare i risultati delle procedure e aumentare la sicurezza dei pazienti. La ricerca si concentra sulle seguenti aree: 1. Lo sviluppo di un esoscopio autonomo per la chirurgia cerebrale. È stato impiegato un manipolatore robotico ridondante dotato di una stereocamera in cofigurazione eye-in-hand per mantenere uno strumento specifico al centro del campo visivo. Questo sistema utilizza un sistema di asservimento visivo, dove le immagini catturate dalla telecamera vengono elaborate per rilevare e tracciare il centro della regione distale dello strumento (CDR) utilizzando una rete neurale convoluzionale. I risultati di validazione dimostrano la capacità del sistema di tracciare lo strumento con errori medi di tracciamento di 0.5 ± 0.17 cm per movimenti lenti (0.0 - 1.0 cm/s), 0.90 ± 0.37 cm per movimenti medi (1.0 - 1.5 cm/s), e 1.38 ± 0.73 cm per movimenti veloci (1.5 - 2.5 cm/s). 2. Un modulo di tracciamento ibrido che combina optical flow e particle filter. Questo modulo è stato sviluppato per il sistema autonomo dell'esoscopio per migliorare le capacità di tracciamento in tempo reale e ridurre al minimo la latenza del sistema. Il modulo ibrido combina la precisione dell'optical flow con il potere predittivo del particle filter. Il flusso ottico traccia in modo efficiente lo strumento chirurgico tra fotogrammi consecutivi, mentre il filtro di particelle modificato prevede la posizione futura dello strumento. Le prestazioni del modulo proposto sono state valutate confrontandolo con tre altri approcci e ha dimostrato la sua superiorità con il più basso errore di tracciamento registrato a 9.84 ± 0.08 mm e 13.11 ± 0.39 mm per velocità basse (2.5 cm/s) e alte (4 cm/s), rispettivamente. 3. Lo sviluppo di un framework di controllo condiviso per consentire il riconoscimento dei materiali nella chirurgia spinale. Questo è ottenuto introducendo una strategia di controllo ad impedenza variabile in cui la rigidità del robot è modulata in base alla forza di contatto con l'ambiente e ai segnali di elettromiografia (EMG) dell'operatore. La stabilità e l'affidabilità del sistema sono state validate attraverso task di contatto utilizzando diversi materiali, dimostrando un aumento della rigidità senza causare oscillazioni dell'end effector. Inoltre, il framework garantisce una bassa forza di contatto e uno spostamento dell'end-effector ridotti, riducendo così il rischio di danneggiare strutture delicate. 4. Un framework di controllo condiviso basato su Virtual Fixture per assistere i chirurghi durante task di perforazione in chirurgia spinale.} Il sistema utilizza fixture virtuali per guidare gli utenti lungo i piani di taglio pre-pianificati, limitandone al contempo i movimenti per preservare strutture delicate. Forze attractive e repulsive vengono generate in base all distanza dalla virtual fixture stabilita durante la fase di pianificazione. Ciò consent agli utenti di ottenere con prexisione l'angolo di taglio desiredato per interventi corrective precisi. I risultati dello studio condotto sugli utenti hanno mostrato un errore di tracciamento medio durante task di taglio di 0.54 ± 0.34 mm per il piano sagittale e 1.0 ± 0.69 mm nel piano coronale, indicando una precisione di taglio significativamente superiore rispetto alle procedure manuali tradizionali. I risultati complessivi presentati sottolineano il potenziale dell'integrazione di piattaforme robotiche nel dominio neurochirurgico, migliorando le prestazioni dei task e riducendo il carico di lavoro degli utenti. In prospettiva futura, questa ricerca segna un passo avanti verso l'integrazione di tecnologie assistive sia nella chirurgia cerebrale che in quella spinale.
File allegati
File Dimensione Formato  
PhD_Thesis_Elisa_IoveneFINALE.pdf

accessibile in internet per tutti a partire dal 18/10/2025

Dimensione 77.16 MB
Formato Adobe PDF
77.16 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/229172