POLITESI Politecnico di Milano Servizi Bibliotecari di Ateneo Servizi Bibliotecari di Ateneo
 
   ALL THESES       POST GRADUATE THESES       DOCTORAL THESES   
My POLITesi
authorized users
italiano
Please use this identifier to cite or link to this thesis: http://hdl.handle.net/10589/138095

Author: PANACCIO, ANDREA
Supervisor: DE MOMI, ELENA
Scientific Disciplinary Sector: ING-INF/06 BIOINGEGNERIA ELETTRONICA E INFORMATICA
Date: 21-Dec-2017
Academic year: 2016/2017
Title: Development of a multisensory acquisition system for FLS training assessment
Italian abstract: Background e scopo. La chirurgia laparoscopica è una pratica molto comune i cui benefici per il paziente e il relativo basso costo la rendono preferibile alla chirurgia aperta e robotica. Tuttavia, essa costituisce anche una sfida per i chirurghi in quanto, per raggiungere una buona competenza, è necessario un adeguato allenamento. Il training infatti è una parte molto importante di ogni programma di apprendimento, in particolare nel campo chirurgico dove è un punto chiave per aumentare l’efficienza in Sala Operatoria. Studi precedenti sottolineano come i chirurghi siano esposti ad un gran numero di fattori di stress. Nonostante sia stato dimostrato che una condizione di stress può influire sulle performance, sono ancora pochi i training in medicina che tengono in considerazione questo aspetto nel loro programma a differenza di quanto avviene in campi come il militare e l'aviazione civile. Studi precedenti su stress, ansia e carico mentale hanno mostrato come essi possano essere stimati a partire dall’analisi di segnali fisici (es. sguardo, movimento, dimensione delle pupille) e fisiologici (es. attività cardiaca e cerebrale) che possono essere misurati tramite sensori non invasivi e non ostruttivi. Tuttavia l’analisi di questi segnali non può prescindere da una valutazione della performance stessa. Questo lavoro è stato incentrato sulla parte pratica contenuta nel programma di “Fundamental of Laparoscopic Surgery” (FLS) offerto da SAGES e ACS e principalmente diffuso in US e Canada. Lo studio mira allo sviluppo di un sistema di acquisizione multi-sensore per la valutazione delle prestazioni in FLS. In particolare, lo scopo è quello di realizzare un sistema che comprende vari strumenti e algoritmi che permettono di estrarre informazioni di diversa natura descriventi lo stato e i comportamenti del soggetto durante la performance. Queste informazioni sono state utilizzate per condurre un'analisi preliminare su un sottogruppo di dati e costituiscono l'input per studi futuri finalizzati all'identificazione di parametri che consentano di estendere la valutazione delle prestazioni di FLS alle condizioni fisiologiche e di stress. Questo progetto di tesi è stato condotto presso il Center for Computational Surgery (Department of Surgery, Houston Methodist, Houston, TX) durante un tirocinio di sei mesi. Materiali e metodi. Una nuova metrica per la valutazione dei task di FLS, basata sull’esaminazione del video della performance, è stata realizzata per superare i limiti della metrica standard del programma FLS. Tuttavia essa non è in grado di fornire informazioni sul comportamento del soggetto e le sue richieste fisiologiche e mentali durante l'attività. Non vi è un sensore specifico che possa essere usato a-priori per stimare lo stress o il carico mentale. Perciò, è stato deciso di includere in questa prima versione della piattaforma una larga gamma di sensori che forniscono diversi tipi di informazioni. Essi comprendono un Eye Tracker (ET), uno Smart Cloth, l’EEG, gli Smart Trocars e diverse telecamere. Il Sistema di acquisizione fa uso di una GUI che è stata realizzata in Matlab e dei software dei vari device. L’interfaccia in Matlab garantisce il real-time del video della camera all’interno del box e permette l’acquisizione video da tutte e 4 le telecamere con una frame rate massima di 5Hz. L’estrazione e la sincronizzazione tra segnali di differenti strumenti è stata eseguita offline usando Matlab facendo uso della scala temporale Unix (posixtime). Una nuova versione dell’algoritmo di image-analysis per gli Smart Trocar è stata realizzata per far fronte alle condizioni di luminosità della stanza in cui sono stati condotti i test. Inoltre, al fine di detettare il blinking, è stato sviluppato un algoritmo basato sull’analisi multimodale dei dati di EEG e ET che ha consentito di superare i limiti dell’analisi fatta con i singoli dispositivi. 1. Moto 2D del tool laparoscopico: L’algoritmo per la stima del moto 2D dello strumento laparoscopico consiste in un image-analysis del video prodotto dalla camera posizionata a lato di ciascun trocar. La camera punta verso il soffitto sul quale sono stati posizionati vari poster a forma di quadrato nero. Ogni quadrato può essere identificato dal suo pattern bianco interno. L’algoritmo riconosce i quadrati in ciascun frame ed estrae i loro punti caratteristici (cioè i vertici e i centroidi). Punti corrispondenti in frame successivi sono stati dati in input ad un algoritmo di registrazione ICP per stimare la trasformata di roto-traslazione frame per frame. 2. L’algoritmo per la detezione del blinking è basato su un’analisi multimodale dei dati di ET e EEG. Nell’analisi dei dati dell’ET, gli intervalli di tempo in cui gli occhi non sono stati catturati dal device, con una durata inferiore ai 400ms, sono stati considerati possibili candidati di blink. Un’analisi in ampiezza e un’analisi spettrale sono state condotte sui segnali dell’EEG provenienti dagli elettrodi Fp1 e Fp2 posizionati sulla fronte sopra agli occhi dei partecipanti. I blink finali sono stati identificati comparando i candidati ottenuti dalle analisi dei singoli devices. Il sistema è stato testato su 12 soggetti sani suddivisi in tre categorie di diverso livello di esperienza: 4 Principianti (Beginners) non provenienti dal campo chirurgico, 5 Specializzandi (Residents) e 3 Esperti (Experts) provenienti dallo Houston Methodist Hospital. Il protocollo sperimentale comprende una fase di riposo seguita da tre esercizi del programma di FLS (Peg Transfer, Precision Cutting and Suture with Intracorporeal Knot) durante i quali è stato testato il concetto di Attentional Tunneling utilizzando suoni esterni. L’interfaccia è stata utilizzata durante l’acquisizione principalmente per gestire le informazioni del partecipante, per l’acquisizione di video (da una videocamera frontale, le due camera dei trocar e la camera laparoscopica), per la comunicazione seriale con il trigger box dell’EEG e per tener traccia dei rifermenti temporali di determinati eventi che caratterizzano ciascun esercizio. L’ET è stato usato per ottenere informazioni relative agli occhi, il Dry EEG per l’attività cerebrale attraverso 19 elettrodi sullo scalpo (sistema 10-20) e lo Smart Cloth per l’attività cardiaca e per quella respiratoria. Per ogni soggetto è stato creato un report su un sottogruppo di segnali con un duplice scopo: trovare particolari trend o reazioni a specifici eventi e confrontare dati tra diversi soggetti. Il report di ogni soggetto comprende principalmente grafici di alcuni segnali selezionati dall’ET e dallo Smart Cloth, la loro media, deviazione standard e variazione media. In particolare, quelli di maggior interesse, sono la posizione dello sguardo sullo schermo, la dimensione delle pupille, la blinking rate, la frequenza cardiaca, la frequenza respiratoria, gli intervalli NN e il volume d’aria corrente (Tidal Volume). I video delle performance sono stati osservati per tener traccia dell’occorrenza temporale di specifici eventi quali azioni (es. afferrare e rilasciare oggetti), fasi (es. completamento di ¼ del taglio del cerchio) o errori (es. caduta di un oggetto). Tutti questi eventi con l’aggiunta del blinking e dell’occorrenza del suono sono stati aggiunti ai grafici usando una determinata simbologia. Validazioni e risultati. Una serie di test è stata condotta per validare il metodo per la ricostruzione 2D del moto del tool ottenendo un massimo errore di registrazione dell’algoritmo di ICP di 4 pixel per immagini di buona qualità. Tuttavia, il metodo è fortemente affetto dalla presenza di sfocatura nell’immagine che causa un incremento dell’errore. I video della camera frontale sono stati usati come ground truth per validare l’algoritmo per la detezione dei blinks. I test hanno mostrato come l’algoritmo sia capace di detettare tutti in blink in condizioni standard ma che la sua accuratezza cala nell’analisi di performance fortemente affette da artefatti da movimento. L’utilizzo della nuova metrica di valutazione è stato utile per evidenziare le differenze tra soggetti con un diverso livello di esperienza semplicemente analizzando i video delle performance. Dall’analisi preliminare su un sottogruppo di segnali (principalmente da ET e Smart Cloth) si è notato che l’ET è una valida fonte di informazione per descrivere il livello di focus del soggetto evidenziando differenze tra le varie categorie e che la blinking rate, che in generale è bassa durante gli esercizi, tende ad aumentare nei momenti di maggiore difficoltà. In alcuni soggetti è stato riscontrato anche un incremento dell’irregolarità del Tidal Volume durante situazioni complicate. Sebbene sia stato notato un incremento della dimensione delle pupille dalla fase di riposo rispetto la fase degli esercizi, questa è poi rimasta constante durante il task. Larga parte dei segnali relativi all’attività cardiaca è stata caratterizzata dalla presenza di vari errori rilevati dallo stesso device. Discussione e conclusioni. Lo studio propone un setup di acquisizione e alcuni algoritmi per estrarre una grande quantità di informazioni di diversa natura dal training di FLS in maniera non invasiva e non ostruttiva. Il sistema ha ricevuto feedback positivi dei vai esperti chirurgici che hanno avuto modo di provarlo. L’analisi multimodale dell’algoritmo per la detezione del blinking permette una sua più robusta identificazione rispetto all’analisi condotta sui singoli device. L’algoritmo per la ricostruzione 2D del moto dello strumento può essere usato per stimare l’entità del movimento frame per frame. Le osservazioni sui report suggeriscono che i dati respiratori e dell’ET possano contenere segnali di interesse. Inoltre hanno evidenziato come sia necessario un miglioramento della piattaforma data l’inefficacia del suono come trigger dell’Attentional Tunnelling e la bassa qualità di circa 1/3 dei dati relativi all’attività cardiaca. Questo studio potrà essere esteso da studi futuri riguardanti una profonda analisi di tutti i segnali ottenuti al fine di trovare parametri che possano essere inclusi nella valutazione del programma FLS.
English abstract: Background and purpose. Laparoscopic surgery is a very common surgical procedure whose benefits for the patient and the relative low cost make it preferable respectively to open surgery and robotic surgery. However, it constitutes also a challenge for the surgeons due to the required training in order to archive a good proficiency. The training is a very important part of each learning program, in particular in the surgical field where it is a key point to be efficient in the OR later on. Previous studies report as surgeons are exposed to a large number of stressors. Despite it was proved that stressful condition can affect the performance, there are still a low number of medical trainings which encompass this aspect in their leaning module unlike fields such as military and civil aviation. Previous studies on stress, anxiety, mental load have shown how they can be estimated from an analysis of physical (e.g. eye gaze, movement, pupil size) and physiological (e.g. heart and brain activities) measurements which can be measured with non-invasive and unobtrusive sensors. However, the analysis of these signal cannot disregard an evaluation of the performance itself. This work was focused on the practical part of the Fundamental of Laparoscopic Surgery (FLS) educational program offered by SAGES and ACS and mainly diffused in the US and Canada. The study aims at the development of a multisensory acquisition system for an evaluation of the FLS performance. In particular, the purpose is to realize a system which encompasses different devices and algorithms that allow to extract information of different nature describing the status and the behaviours of the subject during the performance. These information were used to conduct a preliminary analysis on a subset of data and constitute the input for future studies aimed at the identification of parameters which allow to extend the evaluation of the FLS performance to the physiological and stress conditions. This project of thesis was conducted at the Center for Computational Surgery (Department of Surgery, Houston Methodist, Houston, TX) during an internship of six months. Material and methods. A new FLS scoring metric, based on the evaluation of the video of the performance, was created to overcome the limits of the standard FLS metric. However, this kind of metric is not able to provide information about the subject behaviour and the physiological and mental demands during the task. There is not an a-priori specific sensor that can be used to detect the stress and the mental load. Therefore, it was decided to include in this first version of the platform a large gamma of sensors providing different kind of information. They encompass the use of video-cameras, Smart Trocars, Eye Tracking (ET), physiological monitoring through Smart Cloth (Hexoskin) and EEG. The acquisition system makes use of a GUI realized in Matlab and of the software of the devices. The Matlab GUI ensured to display a real-time video from the camera inside the trainer box and allowed to acquire videos from the four cameras with a maximum frame rate of 5Hz. The extraction and the synchronization among signals from the different devices was done offline with Matlab making use of the Unix (posixtime) timescale. A new version of the image analysis algorithm for the Smart Trocars to reconstruct the 2D movement of the tool was implemented to face particular luminosity conditions of the room. Moreover, an algorithm for the detection of the blinking was developed based on a multimodal analysis of EEG and ET data allowing to overcome the limits of the analysis conducted on the single devices. 1. Laparoscopic tool 2D motion: The algorithm for the estimation of the 2D motion of the laparoscopic tool consists in an image analysis of the video made by the camera located on the side of the trocar. The camera points toward the ceiling where some flat black square-shape panels were attached. Each square can be identified from its inside white pattern. The algorithm recognizes the squares in each frame and extracts their features points (i.e. corners and centroids). Corresponding points in subsequent frames were given in input to an ICP registration algorithm to estimate the roto-translational transform frame by frame. 2. Blinking detection: The algorithm for the blinking detection was based on a multimodal analysis of ET and EEG data. In the ET data analysis, the time intervals of eyes non captured by the device with a duration lower than 400 ms were considered blinking candidates. From the EEG data, an amplitude and spectral analysis were conducted on the signals coming from Fp1 and Fp2 electrodes which are located on the front over the eyes. The final blinks were identified comparing the candidates obtained from the analysis of single devices. The system was tested on 12 healthy subjects subdivided into three categories of different expertise level: 4 Beginners who were not from the surgical field, 5 Residents and 3 Experts from the Houston Methodist Hospital. The experimental protocol comprises a resting phase followed by the performance of three selected tasks of the FLS module (Peg Transfer, Precision Cutting and Suture with Intracorporeal Knot) during which the Attentional Tunnelling concept was tested through the use of external sounds. The GUI was used during the acquisition mainly to manage the information of the participant, the video acquisitions (from the face camera, 2 trocars’ cameras and the laparoscopic camera), the serial communication with the trigger box of the EEG and to keep track of the time references of all the events along each task. The ET was used to retrieve information about the eyes, the dry EEG for the brain activity through 19 electrodes on the scalp (10-20 system) and the Smart Cloth for the heart and respiratory activities. Reports on a subset of signals were created for each subject with two purposes: to find particular trends or reaction to specific events within a subject and to compare the data among different subjects. They encompass mainly graphs of some selected signals from the ET and the Smart Cloth, their mean, std and mean variation. In particular, they are the eyes gaze, the pupil dimension, the blinking rate, the Heart Rate, the Breathing Rate, the NN intervals, the Tidal Volume. The videos of the performances were observed to keep track of the time occurrence of specific events such as actions (e.g. grasp or release an object), phases (e.g. completion of ¼ of cutting of the circle) or errors (e.g. drop of an object). Using specific symbols, all these events plus the blinking and the sound occurrences were reported on the graphs. Validations and Results. A series of tests were conducted to validate the new algorithm for the 2D reconstruction of the motion of the tool showing a registration error of the ICP of a maximum of 4 pixels in good quality images. However, the method is strongly affected by the presence of blur in the image which causes an increase of the error. The videos of the frontal camera were used as ground truth to validate the algorithm for the blinking detection. Tests have shown that the algorithm is able to detect all the blinks in standard conditions but its accuracy decreases in the analysis of performances which are strongly affected by movement artifacts. The usage of the new scoring metric were useful to highlight differences among subject with different expertise level by simply evaluating the performance video. From the preliminary analysis on subgroup of signals (mainly from ET and smart cloth), it was noticed that the ET is a valuable source of information to describe the level of focus highlighting differences among categories and the blinking rate, which is low during exercises, increases in moments of major difficulty. In some subjects, an increase of the Tidal Volume irregularity was recognized during difficult situations. Even if the pupils size was found to increase from rest to task, their dimension remain constant during the exercise. Large part of the heart activity signals from the Hexoskin smart cloth were found to be affected by errors detected by the device itself. Discussion and Conclusions. The study proposed an acquisition setup and some algorithms to retrieve a large quantity of information of different nature from the FLS training in a non-invasive and unobtrusive way. The system received good feedbacks from all the surgical experts who tried it. The algorithm for the blinking detection allowed a more robust identification of the blinks with respect to the analysis conducted on the single devices. The algorithm for the reconstruction of the 2D motion of the tool can be used to estimate the entity of the movement frame by frame. The observations on the reports suggested that ET and respiration data could contain signals of interest. Moreover, an improvement of the platform is required due to the inefficacy of the sound as trigger of the Attentional Tunnelling and to the low quality of about 1/3 of the cardiac data. This study could be extended by a future in depth analysis of all the signals to find relevant parameters which can be included in the evaluation of the FLS program.
Italian keywords: laparoscopia; allenamento; sistema di acquisizione; prestazione; ricostruzione del movimento; stress
English keywords: laparoscopy; training; FLS; smart trocar; eye tracking; smart cloth; EEG; acquisition system; performance evaluation; blinking; movement reconstruction; stress
Language: eng
Appears in Collections:POLITesi >Tesi Specialistiche/Magistrali

Files in This Item:

File Description SizeFormatVisibility
2017_12_Panaccio.pdfTesto della tesi6.35 MBAdobe PDFView/Open





 

  Support, maintenance and development by SURplus team @ CINECA- Powered by DSpace Software