Biblioteche e Archivi
POLITesi - Archivio digitale delle tesi di laurea e di dottorato

ROBOT-ASSISTED Minimally Invasive Surgery (RAMIS) is a transformative surgical approach that has shown some advantages over traditional open or laparoscopic surgery. It has precise hand-eye coordination, high instrument dexterity and augmented 3D vision, which brings more surgical benefits such as reduced risk of infection and shorter post-operative hospital stays. Nevertheless, RAMIS has some limitations. For example, surgical robots lack autonomy since the surgical instruments and endoscope are under the full control of the surgeon, and there is also no intra-operative assistance for the surgeon, so the success of the surgery depends heavily on the surgeon’s expertise and operational performance. This places extremely high requirements and expectations on surgeons, and is particularly challenging for novice surgeons. To enhance the capabilities of surgeons in RAMIS, the integration of computer-aided technology is emerging as a promising avenue to provide intra-operative assistance to surgeons, thereby reducing the incidence of surgical errors and improving surgical outcomes. On this background, the overall objective of this PhD thesis is to develop innovative computer-aided methods within surgical robots to assist surgeons in intra-operative operations for improved safety in RAMIS. In particular, this PhD research has been focused on the following topics: 1) Autonomous endoscope navigation is integrated into surgical robots to release the burden of endoscope control for surgeons. Firstly, a semi-autonomous endoscope navigation method is achieved by defining three kinds of surgical instrument tracking-based motion modalities, allowing surgeons to manually switch endoscope tracking targets during operation. An ex vivo neobladder reconstruction surgery is performed with ten surgeons, and the experimental results show that the semi-autonomous endoscope motion is suitable for surgical phases where the field of view requires frequent changes. Furthermore, we propose a context-aware autonomous endoscope navigation strategy. A neural network is introduced to predict the current surgical phase in real time, thereby implementing autonomous switching of endoscope tracking modalities. The results based on a typical ring-transfer task show a significant time reduction in autonomous endoscope navigation compared to manual endoscope navigation and semi-autonomous navigation, thus demonstrating its potential to reduce the manipulation burden on surgeons and shorten the operation time. 2) A real-time scene reconstruction framework is developed to achieve 3D visualization of intra-operative scenes, and a lightweight stereo matching network is designed to perform disparity estimation. Specifically, a U-Net based encoder is utilized to stack the cost volume, and then a decoder constructed from continuous 3D residual blocks is used to predict disparity values. The Robot Operating System (ROS)-based framework is integrated into the da Vinci surgical robot, to validate its performance in intra-operative reconstruction. Furthermore, we use a public dataset captured from porcine subjects to quantitatively evaluate the proposed method, and the results show that the network has a reconstruction accuracy of 2.69±1.48 mm in terms of the mean absolute error, and an inference speed of 25 FPS. Finally, a self-made clinical dataset captured from patients also demonstrates the potential of the proposed method in clinical practice. 3) A markerless augmented reality strategy is proposed to reduce the risk of intra-operative bleeding by real-time visualization of the minimum distance between surgical instruments and the delicate blood vessel. Two neural networks, including reconstruction and segmentation, are combined to recover the 3D position of the blood vessel during the intra-operative phase. In this way, the pre-operative 3D model and the reconstructed intra-operative blood vessel can be registered, to project the pre-operative model to the correct position of intra-operative scenes. Meanwhile, the minimum distance between surgical instruments and the blood vessel is calculated based on the kinematic data. The experiment is conducted using a pick-place surgical task near a blood vessel with ten participants, and the results show that the introduction of AR with real-time distance visualization can increase the safety distance between surgical instruments and the blood vessel without introducing additional cognitive load. 4) A framework integrating augmented reality and virtual fixtures is proposed to improve the safety of robot-assisted lymphadenectomy. Augmented reality is used to visualize lymph nodes hidden in the superficial fat layer by referencing the position of the surrounding exposed blood vessel, and virtual fixtures are used to provide force feedback to avoid collisions between surgical instruments and the delicate blood vessel. An emulated lymphadenectomy was performed in a dry laboratory environment using a da Vinci surgical robot. Data collected from ten participants show that the proposed framework can visualize hidden lymph nodes in real time and significantly reduce the probability of collision between surgical instruments and the blood vessel, demonstrating its potential for clinical use. The overall results presented in this thesis demonstrate the feasibility of integrating computer-aided methods into surgical robots to enhance the safety of RAMIS. The methods are proposed to relieve the manipulation burden of the endoscope and to provide visual and force assistance to surgeons. They do not require additional medical devices and can therefore be easily integrated into existing surgical robotic systems. The experimental results obtained in a dry lab environment show the potential to enhance surgeons’ capabilities for improved surgical safety. In the future perspective, the proposed work needs to be deployed in clinical robotic systems to obtain further clinical evidence.

LA chirurgia robotica mininvasiva (RAMIS) costituisce un approccio chirurgico innovativo che ha dimostrato notevoli vantaggi rispetto alla chirurgia tradizionale aperta o laparoscopica. Tale metodologia chirurgica offre una coordinazione occhio-mano estremamente precisa, un’elevata destrezza nell’utilizzo degli strumenti e una visione 3D avanzata, apportando benefici chirurgici come la riduzione del rischio di infezioni e degenze ospedaliere più brevi. Tuttavia, la chirurgia robotica mininvasiva presenta anche alcune limitazioni. Tra queste, la completa assenza di autonomia sui robot chirurgici anche di nuova generazione, dove gli strumenti chirurgici e l’endoscopio sono costantemente sotto il controllo dal chirurgo. Inoltre, non è presente alcun tipo di assistenza intraoperatoria automatizzata, e di conseguenza il successo dell’intervento dipende fortemente dalla performance e dall’abilità del chirurgo. Ciò pone requisiti e aspettative estremamente elevati sui chirurghi, in modo particolare per i meno esperti. Per migliorare le abilità dei chirurghi nella RAMIS, l’integrazione di tecnologie computer-assistite sta emergendo come una via promettente per fornire assistenza intraoperatoria, riducendo l’incidenza di errori chirurgici e migliorando i risultati delle operazioni. In questo contesto, l’obiettivo generale di questa tesi di dottorato è lo sviluppo di metodi innovativi computer-assistiti nel contesto della chirurgia robotica per supportare i chirurghi in fasi intraoperatorie e migliorare la sicurezza della chirurgia mininvasiva assistita da robot. In particolare, questa ricerca di dottorato tratta i seguenti argomenti: 1) Integrazione di navigazione autonoma dell’endoscopio in robot chirurgici per la riduzione del carico cognitivo dovuto al controllo dell’endoscopio. Innanzitutto, é stato realizzato un metodo di navigazione dell’endoscopio semi-autonomo definendo tre tipologie di movimento basate sul tracciamento degli strumenti chirurgici, consentendo ai chirurghi di cambiare manualmente gli obiettivi di tracciamento dell’endoscopio durante l’operazione. A tal proposito, dieci chirurghi hanno eseguito un intervento di ricostruzione della neovescica ex-vivo, i cui risultati sperimentali mostrano come il movimento semi-autonomo dell’endoscopio sia adatto per le fasi chirurgiche in cui è richiesta una frequente variazione del campo visivo. Inoltre, viene proposta una strategia di navigazione autonoma dell’endoscopio adattabile al contesto chirurgico. È stata introdotta una rete neurale per la predizione in tempo reale della fase chirurgica in corso, che di conseguenza permette il cambiamento automatizzato della modalità di tracciamento dell’endoscopio. I risultati, ottenuti su un esercizio standard di ring-transfer, mostrano una significativa riduzione del tempo di esecuzione rispetto alla navigazione manuale e semi-autonoma, a dimostrazione del potenziale per ridurre la difficoltà di manipolazione chirurgica e accorciare i tempi dell’operazione. 2) Sviluppo di un framework di ricostruzione della scena chirurgica in tempo reale per la visualizzazione intraoperatoria tridimensionale e di una rete neurale leggera di stereo-corrispondenza per la stima della disparità. Nello specifico, un encoder basato su U-Net costruisce una matrice di errore, da cui un decoder con blocchi residuali continui 3D prevede i valori di disparità. Il framework è basato su Robot Operating System (ROS) ed è integrato nel robot chirurgico daVinci per validarne le prestazioni nella ricostruzione in fase intraoperatoria. Inoltre, la validazione quantitativa del metodo proposto è stata eseguita su un dataset pubblico acquisito da soggetti suini: i risultati mostrano che la rete neurale ha un’accuratezza di ricostruzione di 2,69±1,48 mm in termini di errore assoluto medio e una velocità di inferenza di 25 fotogrammi al secondo. Infine, grazie alla produzione di un dataset clinico acquisito da alcuni pazienti si dimostra anche il potenziale del metodo proposto nella pratica clinica. 3) Una strategia di realtà aumentata senza marcatori per la riduzione del rischio di sanguinamento intraoperatorio mediante la visualizzazione in tempo reale della distanza minima tra gli strumenti chirurgici e un vaso sanguigno critico. Due reti neurali, una per ricostruzione ed una per segmentazione, vengono combinate per stimare la posizione 3D del vaso sanguigno durante la fase intraoperatoria. In questo modo, il modello 3D preoperatorio e il vaso sanguigno intraoperatorio ricostruito vengono registrati in modo da visualizzare in sovrimpressione il modello preoperatorio nella posizione corretta nella scena intraoperatoria. Contemporaneamente, viene calcolata la distanza cartesiana minima tra gli strumenti chirurgici e il vaso sanguigno sulla base della cinematica. La validazione sperimentale coinvolge dieci partecipanti e consiste nel condurre un esercizio chirurgico di pick-place in prossimità di un vaso sanguigno: i risultati mostrano come l’introduzione della realtà aumentata con visualizzazione in sovrimpressione della distanza in tempo reale può aumentare la distanza di sicurezza tra gli strumenti chirurgici e il vaso sanguigno senza introdurre un carico cognitivo aggiuntivo. 4) Un framework che integra realtà aumentata e vincoli virtuali per migliorare la sicurezza della linfoadenectomia robot-assistita. La realtà aumentata é utilizzata per visualizzare i linfonodi nascosti nello strato di grasso superficiale, prendendo la posizione del vaso sanguigno esposto nelle vicinanze come riferimento, mentre i vincoli virtuali sono utilizzati per fornire un feedback di forza al fine di evitare collisioni tra strumenti chirurgici e il vaso sanguigno critico. È stata eseguita una linfoadenectomia simulata in un ambiente di laboratorio utilizzando il robot chirurgico daVinci: i dati raccolti da dieci partecipanti mostrano che il framework proposto permette di visualizzare i linfonodi nascosti in tempo reale e ridurre significativamente la probabilità di collisione tra strumenti chirurgici e vaso sanguigno, dimostrandone il potenziale per l’uso clinico. I risultati presentati in questa tesi dimostrano la fattibilità di integrazione di metodi computer-assistiti nei robot chirurgici per migliorare la sicurezza della RAMIS. I metodi sono proposti per ridurre il carico cognitivo nel controllo dell’endoscopio e per fornire assistenza visiva e aptica ai chirurghi. Dal momento che non richiedono dispositivi medici aggiuntivi, questi metodi possono quindi essere facilmente integrati nei sistemi robotici chirurgici esistenti. I risultati sperimentali ottenuti in laboratorio mostrano il potenziale per migliorare le capacità dei chirurghi, garantendo una maggiore sicurezza chirurgica. In una prospettiva futura, il lavoro proposto necessita di essere implementato in sistemi robotici ospedalieri per ottenere ulteriori evidenze cliniche.

Study of computer-aided methods to improve safety of robot-assisted minimally invasive surgery

Chen, Ziyang
2023/2024

Abstract

ROBOT-ASSISTED Minimally Invasive Surgery (RAMIS) is a transformative surgical approach that has shown some advantages over traditional open or laparoscopic surgery. It has precise hand-eye coordination, high instrument dexterity and augmented 3D vision, which brings more surgical benefits such as reduced risk of infection and shorter post-operative hospital stays. Nevertheless, RAMIS has some limitations. For example, surgical robots lack autonomy since the surgical instruments and endoscope are under the full control of the surgeon, and there is also no intra-operative assistance for the surgeon, so the success of the surgery depends heavily on the surgeon’s expertise and operational performance. This places extremely high requirements and expectations on surgeons, and is particularly challenging for novice surgeons. To enhance the capabilities of surgeons in RAMIS, the integration of computer-aided technology is emerging as a promising avenue to provide intra-operative assistance to surgeons, thereby reducing the incidence of surgical errors and improving surgical outcomes. On this background, the overall objective of this PhD thesis is to develop innovative computer-aided methods within surgical robots to assist surgeons in intra-operative operations for improved safety in RAMIS. In particular, this PhD research has been focused on the following topics: 1) Autonomous endoscope navigation is integrated into surgical robots to release the burden of endoscope control for surgeons. Firstly, a semi-autonomous endoscope navigation method is achieved by defining three kinds of surgical instrument tracking-based motion modalities, allowing surgeons to manually switch endoscope tracking targets during operation. An ex vivo neobladder reconstruction surgery is performed with ten surgeons, and the experimental results show that the semi-autonomous endoscope motion is suitable for surgical phases where the field of view requires frequent changes. Furthermore, we propose a context-aware autonomous endoscope navigation strategy. A neural network is introduced to predict the current surgical phase in real time, thereby implementing autonomous switching of endoscope tracking modalities. The results based on a typical ring-transfer task show a significant time reduction in autonomous endoscope navigation compared to manual endoscope navigation and semi-autonomous navigation, thus demonstrating its potential to reduce the manipulation burden on surgeons and shorten the operation time. 2) A real-time scene reconstruction framework is developed to achieve 3D visualization of intra-operative scenes, and a lightweight stereo matching network is designed to perform disparity estimation. Specifically, a U-Net based encoder is utilized to stack the cost volume, and then a decoder constructed from continuous 3D residual blocks is used to predict disparity values. The Robot Operating System (ROS)-based framework is integrated into the da Vinci surgical robot, to validate its performance in intra-operative reconstruction. Furthermore, we use a public dataset captured from porcine subjects to quantitatively evaluate the proposed method, and the results show that the network has a reconstruction accuracy of 2.69±1.48 mm in terms of the mean absolute error, and an inference speed of 25 FPS. Finally, a self-made clinical dataset captured from patients also demonstrates the potential of the proposed method in clinical practice. 3) A markerless augmented reality strategy is proposed to reduce the risk of intra-operative bleeding by real-time visualization of the minimum distance between surgical instruments and the delicate blood vessel. Two neural networks, including reconstruction and segmentation, are combined to recover the 3D position of the blood vessel during the intra-operative phase. In this way, the pre-operative 3D model and the reconstructed intra-operative blood vessel can be registered, to project the pre-operative model to the correct position of intra-operative scenes. Meanwhile, the minimum distance between surgical instruments and the blood vessel is calculated based on the kinematic data. The experiment is conducted using a pick-place surgical task near a blood vessel with ten participants, and the results show that the introduction of AR with real-time distance visualization can increase the safety distance between surgical instruments and the blood vessel without introducing additional cognitive load. 4) A framework integrating augmented reality and virtual fixtures is proposed to improve the safety of robot-assisted lymphadenectomy. Augmented reality is used to visualize lymph nodes hidden in the superficial fat layer by referencing the position of the surrounding exposed blood vessel, and virtual fixtures are used to provide force feedback to avoid collisions between surgical instruments and the delicate blood vessel. An emulated lymphadenectomy was performed in a dry laboratory environment using a da Vinci surgical robot. Data collected from ten participants show that the proposed framework can visualize hidden lymph nodes in real time and significantly reduce the probability of collision between surgical instruments and the blood vessel, demonstrating its potential for clinical use. The overall results presented in this thesis demonstrate the feasibility of integrating computer-aided methods into surgical robots to enhance the safety of RAMIS. The methods are proposed to relieve the manipulation burden of the endoscope and to provide visual and force assistance to surgeons. They do not require additional medical devices and can therefore be easily integrated into existing surgical robotic systems. The experimental results obtained in a dry lab environment show the potential to enhance surgeons’ capabilities for improved surgical safety. In the future perspective, the proposed work needs to be deployed in clinical robotic systems to obtain further clinical evidence.
DUBINI, GABRIELE ANGELO
DELLACA', RAFFAELE
DE MOMI, ELENA
1-ott-2024
LA chirurgia robotica mininvasiva (RAMIS) costituisce un approccio chirurgico innovativo che ha dimostrato notevoli vantaggi rispetto alla chirurgia tradizionale aperta o laparoscopica. Tale metodologia chirurgica offre una coordinazione occhio-mano estremamente precisa, un’elevata destrezza nell’utilizzo degli strumenti e una visione 3D avanzata, apportando benefici chirurgici come la riduzione del rischio di infezioni e degenze ospedaliere più brevi. Tuttavia, la chirurgia robotica mininvasiva presenta anche alcune limitazioni. Tra queste, la completa assenza di autonomia sui robot chirurgici anche di nuova generazione, dove gli strumenti chirurgici e l’endoscopio sono costantemente sotto il controllo dal chirurgo. Inoltre, non è presente alcun tipo di assistenza intraoperatoria automatizzata, e di conseguenza il successo dell’intervento dipende fortemente dalla performance e dall’abilità del chirurgo. Ciò pone requisiti e aspettative estremamente elevati sui chirurghi, in modo particolare per i meno esperti. Per migliorare le abilità dei chirurghi nella RAMIS, l’integrazione di tecnologie computer-assistite sta emergendo come una via promettente per fornire assistenza intraoperatoria, riducendo l’incidenza di errori chirurgici e migliorando i risultati delle operazioni. In questo contesto, l’obiettivo generale di questa tesi di dottorato è lo sviluppo di metodi innovativi computer-assistiti nel contesto della chirurgia robotica per supportare i chirurghi in fasi intraoperatorie e migliorare la sicurezza della chirurgia mininvasiva assistita da robot. In particolare, questa ricerca di dottorato tratta i seguenti argomenti: 1) Integrazione di navigazione autonoma dell’endoscopio in robot chirurgici per la riduzione del carico cognitivo dovuto al controllo dell’endoscopio. Innanzitutto, é stato realizzato un metodo di navigazione dell’endoscopio semi-autonomo definendo tre tipologie di movimento basate sul tracciamento degli strumenti chirurgici, consentendo ai chirurghi di cambiare manualmente gli obiettivi di tracciamento dell’endoscopio durante l’operazione. A tal proposito, dieci chirurghi hanno eseguito un intervento di ricostruzione della neovescica ex-vivo, i cui risultati sperimentali mostrano come il movimento semi-autonomo dell’endoscopio sia adatto per le fasi chirurgiche in cui è richiesta una frequente variazione del campo visivo. Inoltre, viene proposta una strategia di navigazione autonoma dell’endoscopio adattabile al contesto chirurgico. È stata introdotta una rete neurale per la predizione in tempo reale della fase chirurgica in corso, che di conseguenza permette il cambiamento automatizzato della modalità di tracciamento dell’endoscopio. I risultati, ottenuti su un esercizio standard di ring-transfer, mostrano una significativa riduzione del tempo di esecuzione rispetto alla navigazione manuale e semi-autonoma, a dimostrazione del potenziale per ridurre la difficoltà di manipolazione chirurgica e accorciare i tempi dell’operazione. 2) Sviluppo di un framework di ricostruzione della scena chirurgica in tempo reale per la visualizzazione intraoperatoria tridimensionale e di una rete neurale leggera di stereo-corrispondenza per la stima della disparità. Nello specifico, un encoder basato su U-Net costruisce una matrice di errore, da cui un decoder con blocchi residuali continui 3D prevede i valori di disparità. Il framework è basato su Robot Operating System (ROS) ed è integrato nel robot chirurgico daVinci per validarne le prestazioni nella ricostruzione in fase intraoperatoria. Inoltre, la validazione quantitativa del metodo proposto è stata eseguita su un dataset pubblico acquisito da soggetti suini: i risultati mostrano che la rete neurale ha un’accuratezza di ricostruzione di 2,69±1,48 mm in termini di errore assoluto medio e una velocità di inferenza di 25 fotogrammi al secondo. Infine, grazie alla produzione di un dataset clinico acquisito da alcuni pazienti si dimostra anche il potenziale del metodo proposto nella pratica clinica. 3) Una strategia di realtà aumentata senza marcatori per la riduzione del rischio di sanguinamento intraoperatorio mediante la visualizzazione in tempo reale della distanza minima tra gli strumenti chirurgici e un vaso sanguigno critico. Due reti neurali, una per ricostruzione ed una per segmentazione, vengono combinate per stimare la posizione 3D del vaso sanguigno durante la fase intraoperatoria. In questo modo, il modello 3D preoperatorio e il vaso sanguigno intraoperatorio ricostruito vengono registrati in modo da visualizzare in sovrimpressione il modello preoperatorio nella posizione corretta nella scena intraoperatoria. Contemporaneamente, viene calcolata la distanza cartesiana minima tra gli strumenti chirurgici e il vaso sanguigno sulla base della cinematica. La validazione sperimentale coinvolge dieci partecipanti e consiste nel condurre un esercizio chirurgico di pick-place in prossimità di un vaso sanguigno: i risultati mostrano come l’introduzione della realtà aumentata con visualizzazione in sovrimpressione della distanza in tempo reale può aumentare la distanza di sicurezza tra gli strumenti chirurgici e il vaso sanguigno senza introdurre un carico cognitivo aggiuntivo. 4) Un framework che integra realtà aumentata e vincoli virtuali per migliorare la sicurezza della linfoadenectomia robot-assistita. La realtà aumentata é utilizzata per visualizzare i linfonodi nascosti nello strato di grasso superficiale, prendendo la posizione del vaso sanguigno esposto nelle vicinanze come riferimento, mentre i vincoli virtuali sono utilizzati per fornire un feedback di forza al fine di evitare collisioni tra strumenti chirurgici e il vaso sanguigno critico. È stata eseguita una linfoadenectomia simulata in un ambiente di laboratorio utilizzando il robot chirurgico daVinci: i dati raccolti da dieci partecipanti mostrano che il framework proposto permette di visualizzare i linfonodi nascosti in tempo reale e ridurre significativamente la probabilità di collisione tra strumenti chirurgici e vaso sanguigno, dimostrandone il potenziale per l’uso clinico. I risultati presentati in questa tesi dimostrano la fattibilità di integrazione di metodi computer-assistiti nei robot chirurgici per migliorare la sicurezza della RAMIS. I metodi sono proposti per ridurre il carico cognitivo nel controllo dell’endoscopio e per fornire assistenza visiva e aptica ai chirurghi. Dal momento che non richiedono dispositivi medici aggiuntivi, questi metodi possono quindi essere facilmente integrati nei sistemi robotici chirurgici esistenti. I risultati sperimentali ottenuti in laboratorio mostrano il potenziale per migliorare le capacità dei chirurghi, garantendo una maggiore sicurezza chirurgica. In una prospettiva futura, il lavoro proposto necessita di essere implementato in sistemi robotici ospedalieri per ottenere ulteriori evidenze cliniche.
Tesi di Dottorato
File allegati
File Dimensione Formato  
Ziyang_CHEN_Thesis_2024_09.pdf

non accessibile

Dimensione 56.62 MB
Formato Adobe PDF
  Visualizza/Apri
56.62 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/225654