Multimodal sensors management in Computer and Robot Assisted Surgery

Surgical interventions are among the most challenging activities performed by humans. To facilitate such a complex task, research efforts in biomedical engineering led to the introduction of Computer Assisted Surgery (CAS). CAS is a set of technologies and methods to assist the surgeon from the preoperative planning phase to the intraoperative phase, providing image guidance and, in some cases, robotic assistance to perform the procedure. CAS systems typically use different types of sensors (localization system, force sensors, intra-operative imaging devices). In this work we focus on optical and electromagnetic localization systems. Optical Tracking Systems (OTS), typically using wired infrared light-emitting diodes (IRED) or wireless retro-reflective spheres, are the de facto standard for present navigation system due to their accuracy and cost-effectiveness, though they require line-of-sight between the camera and the tracked object, which is not always reasonable in a crowded OR. Electromagnetic Tracking Systems (EMTS) localize small electromagnetic field sensors (coils) in an electromagnetic field of known geometry. EMTS have the major advantage of tracking object inside patient body (line-of-sight is not required) but their accuracy is lower and depends on electromagnetic field distortion (e.g. the presence of ferromagnetic objects or electrically powered devices affect localization accuracy). Such limitations of the aforementioned sensing technologies can be overcome by their combined use. To this extent information sources must be first correctly synchronized and then fused together, typically with a probabilistic approach. Timing aspects are crucial in a multiple sensor scenario since each data needs to be correctly synchronized to the other. Spatial consistency is also required when dealing with different sensors information; spatial transformations between reference systems are obtained with calibration procedures. In the framework of the ROBOCAST we proposed a multi-sensor management system (Sensor Manager) for a distributed CAS architecture, which addresses information consistency in both space and time. The software architecture is based on an object-oriented middleware, the Common Object Request Broker Architecture (CORBA) and on the Image-Guided Surgery Toolkit (IGSTK). The Sensor Manager (SM) encompasses two main parts; 1) interfacing the hardware based on the open source libraries IGSTK and OpenCV and 2) acting as server to provide data and services to other modules in a CORBA-based network architecture. Based on IGSTK, the SM also provides a spatial object hierarchy, which facilitates spatial transformation computation between couples of reference frames. This allows clients to ask for the transformation matrix of a reference system associated with an object in the ROBOCAST scenario, with respect to other reference systems. The SM was validated in a modular and distributed CAS system. Experiments proved that the presence of different clocks on an Ethernet network, which does not carry synchronization information, is not acceptable as it leads to time drift due to clock offset and an unpredictable combination of quartz inaccuracies that depend on the operating temperature and manufacturing process; the frequency tolerance for the single quartz is typically in the range of ±(10 – 100) ppm. We proposed the use of a unique timestamping module for all sensors to avoid inaccuracy due to the offset between different clocks. Response latency was also evaluated resulting in about 2 ms for each tested tracking system. With this latency, the client can issue up to 500 requests per second -- much faster than data generation rate for the majority of commercial tracking systems (NDI Optotrak Certus is the only tracking system that can reach frame rate higher than 500 Hz if less than seven markers are connected). It is relevant that this result does not depend on the tracking system. Based on the SM architecture, a robust tracking algorithm of surgical instruments during navigated surgery was designed and implemented using a sensor fusion approach that allows for overcoming the limitations of OTS and EMTS. The proposed algorithm uses the Unscented Kalman Filter (UKF), an extension of the standard Kalman filter, which makes use of a deterministic sampling to estimate the probability distribution of random variables undergoing a non-linear transformation, rather than approximating the non-linear functions The proposed sensor fusion (SF) in case of line-of-sight occlusion was compared with a pure predictive filter relying only on available optical measurements. Robustness to electromagnetic field distortion was also experimentally evaluated. Results showed a significant improvement in translation and rotation error when exploiting EMTS data with the SF method in particular for longer occlusion where the error remains approximately constant (RMSE < 1 mm in case of only two visible markers). The SF algorithm showed good results also in presence of metal distorter (RMSE ranging from 0.5 mm to 3.5, depending on occlusion length), achieving a tracking accuracy up to ten times higher than the estimated static accuracy of the EMTS in the disturbed environment (RMSE 18.64 mm); results are comparable with the vendor’s stated accuracy in a metal free environment (RMSE 1.6 mm). The presented work is relevant not only for enhancing current state of the art navigation systems, but also in the vision of the OR of the future. Next generation ORs are envisaged to involve context-aware systems and smart environments equipped with a number of sensors (e.g. cameras, microphones, tracking systems etc.) to extract information on the operating theatre and human intentions and to react promptly providing proactive services in terms of user-interface and workflow adaptation.

La complessità degli interventi chirurgici ha spinto la Bioingegneria allo sviluppo di un insieme di metodi e tecnologie che prendono il nome di Chirurgia Assistita da Calcolatore (CAS). La CAS ha l’obiettivo di assistere il chirurgo dalla fase di pianificazione pre-operatoria fino all’esecuzione vera e propria dell’intervento fornendo la guida di un sistema di navigazione (paragonabile a quello normalmente usato nelle automobile) ed eventualmente l’assistenza di un attuatore robotico. Un sistema per CAS richiede l’utilizzo di differenti tipologie di sensori (sistemi di localizzazione, sensori di forza, sistemi per l’acquisizione di immagini intra-operatorie). In questo lavoro l’attenzione è rivolta in particolare a sistemi di localizzazione optoelettronici ed elettromagnetici. I sistemi di localizzazione optoelettronici (OTS) localizzano marcatori attivi, led a infrarossi (IRED), o marcatori passivi, sfere di materiale catarifrangente illuminati da flash di luce infrarossa; gli OTS sono lo standard de facto per i sistemi di navigazione chirurgica attualmente in commercio grazie alla buona accuratezza e relativa economicità, nonostante presentino lo svantaggio di eventuali interruzioni di visibilità dei marcatori. I sistemi di localizzazione elettromagnetici (EMTS) sono composti da un generatore di campo elettromagnetico di geometria nota e da piccoli avvolgimenti che rappresentano l’elemento da localizzare (la localizzazione avviene sulla base delle correnti indotte negli avvolgimenti, solitamente vengono utilizzati almeno due avvolgimenti ortogonali). A differenza degli OTS, il grande vantaggio degli EMTS è di poter localizzare sensori all’interno del corpo del paziente, ma l’accuratezza di questi sistemi è inferiore e risente fortemente di distorsioni del campo elettromagnetico (materiale ferromagnetico o dispositivi ad alimentazione elettrica). Tali limitazioni di OTS e EMTS posso essere superate attraverso il loro uso combinato attraverso algoritmi di “Sensor Fusion”. A tale scopo i dati dei diversi sensori devono essere correttamente sincronizzati. Nell’ambito del progetto ROBOCAST abbiamo realizzato un sistema per la gestione di diversi tipi di sensori per chirurgia (Sensor Manager). Il sistema ROBOCAST presenta un’architettura modulare e distribuita all’interno della quale il modulo Sensor Manager agisce come server per interfacciare i sensori con gli altri moduli del sistema. Il software sviluppato è basato sul middleware “Common Object Request Broker Architecture” (CORBA) e sul toolkit open-source Image-Guided Surgery Toolkit (IGSTK). Il Sensor Manager associa l’informazione temporale (timestamp) ad ogni dato proveniente da ogni sensore tramite un unico clock centrale; i vantaggi di questo approccio rispetto a clock multipli sono stati dimostrati sperimentalmente. I risultati dimostrano che la presenza di diversi clock su una rete Ethernet, che non trasporta un segnale di sincronizzazione, porta a notevoli errori di sincronizzazione dovuti all’offset dei clock e ad una impredicibile combinazione delle inaccuratezze degli oscillatori al quarzo (dipendono dalla temperatura di esercizio e dal processo di realizzazione). La latenza di risposta del server (Sensor Manager) è stata misurata ed è risultata di circa 2 ms (valore mediano) per ciascuno dei sistemi di localizzazione testato. Con questi valori di latenza un client può effettuare fino a 500 richieste di dato al secondo, una frequenze superiore a quella della maggioranza dei sistemi di localizzazione usati in chirurgia. Sulla base dell’architettura di acquisizione dati descritta, è stato realizzato un algoritmo di “Sensor Fusion” per la localizzazione di strumenti chirurgici utilizzando un OTS e un EMTS con l’obiettivo di compensare le limitazioni descritte in precedenza. L’algoritmo realizzato utilizza un filtro di Kalman Unscented, una estensione del tradizionale filtro di Kalman per sistemi non lineari, il quale sfrutta un campionamento deterministico per stimare le distribuzioni di probabilità delle variabili aleatorie che subiscono trasformazioni non lineari. L’algoritmo realizzato (SF) è stato testato simulando l’occlusione di uno o più marcatori ottici e confrontato con un filtro puramente predittivo (basato sui soli dati ottici con eventuali discontinuità). La robustezza dell’algoritmo è stata verificata anche in presenza di materiale ferromagnetico che alterasse le misure dell’EMTS. I risultati mostrano un rilevante miglioramento dell’errore di traslazione e rotazione quando vengono sfruttati entrambi i sensori in particolare per occlusioni di visibilità relativamente lunghe (circa 2 secondi) dove si nota che l’errore rimane all’incirca costante (RMSE < 1mm in caso di visibilità di soli due marcatori ottici). Risultati soddisfacenti sono stati ottenuti anche in caso di presenza di materiale ferromagnetico nel volume di misura (RMSE tra 0.5 mm e 3.5 mm in funzione della durata dell’occlusione) raggiungendo un’accuratezza di localizzazione 10 volte maggiore di quella del solo EMTS in presenza di distorsioni di campo (RMSE = 18.64 mm) e comparabile con l’accuratezza dell’EMTS in condizioni ideali (RMSE =1.6 mm). In conclusione, il lavoro proposto è rilevante non solo per l’avanzamento dello stato dell’arte nell’ambito dei sistemi di navigazione, ma anche in vista della sala operatoria del futuro. La prossima generazione di sale operatorie, infatti, prevede l’utilizzo di sistemi intelligenti, “context-aware”, di ambienti con ancora più elevata presenza di sensori in grado di percepire e reagire ad esempio anche alle intenzioni dello staff chirurgico, fornendo un sistema flessibile di gestione del workflow chirurgico.