Glioblastoma multiforme (GBM) is the most common and malignant among the glial cancers, arising in 50% of all cases. It is well known from the medical literature that the high GM infiltration in the brain tissues often makes ineffective the traditional therapeutic approaches, like surgical resection and chemotherapy. Recently, convection enhanced delivery (CED) achieved good results in GB treatment. In CED, drugs are directly injected in the cancerous zone by mean of a cannula positioned within the brain tissues, applying a positive gradient pressure. Several factors potentially affect the distribution of the injected drugs within the tissues, such as the brain micro structure, which strongly depends on axon texture. Electron microscopy (EM) is commonly used to image the brain at the micro-scale level in order to parse the brain micro structure and reconstruct the axon geometry. In this thesis, two different convolutional neural network (CNN) architectures for axon segmentation in EM images are investigated. Architecture 1 is a pixel classifier taking as input a squared image patch. The input patch is processed using 4 convolutional layers and 3 max pooling layers, followed by two fully connected (FC) layers in order to get as output the prediction of the patch central pixel. The Architecture 2 is a fully convolutional neural network (FCNN) and it is characterized by a convolutional path, that process the image like the Architecture 1 to extract the features, followed by an expanding up-convolutional path. The upconvolutional path performs a pixel reconstruction and allows to obtain a segmented image as output in place of a pixelwise prediction like for the Architecture 1. Both the proposed architectures were trained using the same training settings. The gradient descent was used to update the network parameters and the cross entropy was the adopted cost function. To improve the gradient descent algorithm Adam optimizer, a method exploiting both the _rst and the second moment of the gradient, was used. The dataset employed for the training and testing of both the architectures was composed by 30 (512 x 512) images obtained with transmission electron microscopy (TEM) from the ventral nerve cord of a Drosophila larva. The results presented in this work showed that the Architecture 1 exceeded the state of the art of non-CNN-based approaches, achieving a lower segmentation error (pixel error, PE = 88 ·10-3) with respect to random forest (RF)(PE = 157 ·10-3) and artificial neural network (ANN)(PE = 134 ·10-3) methods. The adopted CNN approach achieved a lower PE because it maximizes the feature extraction from the input data. Architecture 2 overcame the Architecture 1 in term of accuracy (Acc) (median_Architecture2 = 91:8%, interquartile range (IQR) = 0.3 %; median_Architecture1 = 90:9%, IQR= 0.8 %). The computational costs for the segmentation (i.e. the testing phase) resulted significantly (Wilcoxon, α= 0.05) lower for the Architecture 2 (median = 5.13 sec, IQR= 0.21 sec) with respect to the Architecture 1 (median = 17.6 min, IQR= 0.4 min). Architecture 2 based on FCN configuration achieved better accuracy value as it exploits not only the pixel neighbor gray intensity levels but also the predicted values of adjacent pixels. On the other side, in the Architecture 1 configuration each pixel prediction is independent from the others. The results presented in this work are certainly a promising start for the brain micro structure analysis toward the CED optimization for the treatment of GBM.

Il glioblastoma multiforme (GBM) è una delle forme più aggressive di tumore al cervello e rappresenta il 50% dei gliomi diagnosticati. Come ampiamente riportato in letteratura, l'elevata capacità di attaccare i tessuti in profondità rende il GBM difficile da trattare attraverso le terapie tradizionali, come la chemioterapia e la resezione. La convection enhanced delivery (CED), una tecnica che consiste nella somministrazione degli agenti chemioterapici direttamente nella zona tumorale tramite un catetere, ha mostrato risultati incoraggianti nel trattamento del GBM. Tuttavia, l'efficacia della CED dipende da molteplici fattori, tra cui la microstruttura dei tessuti cerebrali. E’ possibile, dunque, ricorrere a immagini di microscopia elettronica (EM) del cervello per estrarre le sue proprietà fisiche, legate soprattutto alla disposizione degli assoni all'interno dei tessuti. In questa tesi vengono proposte due diverse reti neurali convoluzionali (CNN) per la segmentazione degli assoni in immagini EM. La prima configurazione di CNN proposta (Architettura 1) è una rete di classificazione costituita da 4 blocchi convoluzionali, tre dei quali seguiti da un blocco di max pooling, e due strati fully connected (FC) che consentono l'estrazione delle informazioni dalle immagini in ingresso. L'Architettura 1 riceve in ingresso una porzione di immagine e, attraverso una progressiva astrazione dell'informazione, fornisce in uscita la classificazione per il pixel centrale della porzione di immagine ricevuta in ingresso. Dunque, per segmentare un'immagine occorre fornire in ingresso alla rete tante porzioni di tale immagine quanti sono i pixel che la costituiscono. L'Architettura 2, invece, lavora sull'intera immagine, sia in ingresso che in uscita e per tale motivo questa rete non contiene strati FC. In questo modello vengono prima estratte le caratteristiche dell'immagine in maniera analoga all'Architettura 1 e successivamente vengono usati dei blocchi deconvoluzionali in modo tale da ottenere in uscita un'immagine delle stesse dimensioni di quella ricevuta in ingresso, recuperando i pixel persi per effetto delle operazioni di convoluzione. Per addestrare entrambi i modelli di CNN è stato usato l'algoritmo di discesa del gradiente ed è stata scelta la cross-entropia come funzione di costo. E’ stato, inoltre, usato il metodo di ottimizzazione Adam, che tiene conto sia della media che della varianza non centrata del gradiente della funzione di costo, per l'aggiornamento dei parametri durante il processo di apprendimento delle reti. L'addestramento e la validazione delle architetture proposte in questo lavoro sono stati condotti utilizzando 30 immagini di dimensioni 512 x 512 ottenute tramite microscopia elettronica a trasmissione (TEM) del ramo ventrale del nervo spinale di una larva di drosophila. I risultati ottenuti hanno rivelato che l'approccio basato sulle CNN impiegato nell'implementazione dell'Architettura 1 permette di ottenere errori di segmentazione inferiori (pixel error, PE = 88 ·10-3) rispetto a quelli di modelli basati su random forest (RF) (PE = 157 ·10-3) e su reti neurali artificali (ANN) (PE = 134 ·10-3) presenti in letteratura. Tali risultati suggeriscono che le CNN, rispetto agli altri metodi di machine learning, permettono di raggiungere performance migliori nella segmentazione di assoni in immagini EM poiché massimizzano l'estrazione del contenuto informativo. Negli altri metodi di machine learning (come RF e ANN), infatti, vengono selezionate ed utilizzate solo alcune delle caratteristiche di un'immagine (per esempio, l'intensità media dei valori dei pixel). Confrontando i risultati ottenuti usando le due architetture proposte, è emerso che l'Architettura 2 raggiunge valori di accuratezza più elevati (mediana = 91:8%, differenza interquartile (IQR) = 0:3%) rispetto all'Architettura 1 (mediana= 90:9%, IQR= 0:8%). Il costo computazionale per eseguire la segmentazione risulta significativamente (Wilcoxon, α= 0.05) inferiore per l'Architettura 2 (mediana= 5.13 sec, IQR= 0.21 sec), rispetto all'Architettura 1 (mediana = 17.6 min, IQR= 0.4 min). L'Architettura 2 raggiunge valori di accuratezza migliori poichè, nella classificazione del singolo pixel, permette di sfruttare non solo il contenuto informativo dell'immagine ma anche le predizioni sui pixel adiacenti, al contrario dell'Architettura 1 in cui le predizioni su pixel adiacenti avvengono in maniera indipendente. I risultati ottenuti in questo lavoro costituiscono un incoraggiante punto di partenza per lo studio della microstruttura dei tessuti cerebrali al fine di ottimizzare la terapia CED per il trattamento del GBM.

Convolutional neural network models for axon segmentation in EM images

GAZZARA, MICHELE
2016/2017

Abstract

Glioblastoma multiforme (GBM) is the most common and malignant among the glial cancers, arising in 50% of all cases. It is well known from the medical literature that the high GM infiltration in the brain tissues often makes ineffective the traditional therapeutic approaches, like surgical resection and chemotherapy. Recently, convection enhanced delivery (CED) achieved good results in GB treatment. In CED, drugs are directly injected in the cancerous zone by mean of a cannula positioned within the brain tissues, applying a positive gradient pressure. Several factors potentially affect the distribution of the injected drugs within the tissues, such as the brain micro structure, which strongly depends on axon texture. Electron microscopy (EM) is commonly used to image the brain at the micro-scale level in order to parse the brain micro structure and reconstruct the axon geometry. In this thesis, two different convolutional neural network (CNN) architectures for axon segmentation in EM images are investigated. Architecture 1 is a pixel classifier taking as input a squared image patch. The input patch is processed using 4 convolutional layers and 3 max pooling layers, followed by two fully connected (FC) layers in order to get as output the prediction of the patch central pixel. The Architecture 2 is a fully convolutional neural network (FCNN) and it is characterized by a convolutional path, that process the image like the Architecture 1 to extract the features, followed by an expanding up-convolutional path. The upconvolutional path performs a pixel reconstruction and allows to obtain a segmented image as output in place of a pixelwise prediction like for the Architecture 1. Both the proposed architectures were trained using the same training settings. The gradient descent was used to update the network parameters and the cross entropy was the adopted cost function. To improve the gradient descent algorithm Adam optimizer, a method exploiting both the _rst and the second moment of the gradient, was used. The dataset employed for the training and testing of both the architectures was composed by 30 (512 x 512) images obtained with transmission electron microscopy (TEM) from the ventral nerve cord of a Drosophila larva. The results presented in this work showed that the Architecture 1 exceeded the state of the art of non-CNN-based approaches, achieving a lower segmentation error (pixel error, PE = 88 ·10-3) with respect to random forest (RF)(PE = 157 ·10-3) and artificial neural network (ANN)(PE = 134 ·10-3) methods. The adopted CNN approach achieved a lower PE because it maximizes the feature extraction from the input data. Architecture 2 overcame the Architecture 1 in term of accuracy (Acc) (median_Architecture2 = 91:8%, interquartile range (IQR) = 0.3 %; median_Architecture1 = 90:9%, IQR= 0.8 %). The computational costs for the segmentation (i.e. the testing phase) resulted significantly (Wilcoxon, α= 0.05) lower for the Architecture 2 (median = 5.13 sec, IQR= 0.21 sec) with respect to the Architecture 1 (median = 17.6 min, IQR= 0.4 min). Architecture 2 based on FCN configuration achieved better accuracy value as it exploits not only the pixel neighbor gray intensity levels but also the predicted values of adjacent pixels. On the other side, in the Architecture 1 configuration each pixel prediction is independent from the others. The results presented in this work are certainly a promising start for the brain micro structure analysis toward the CED optimization for the treatment of GBM.
MOCCIA, SARA
VIDOTTO, MARCO
ING - Scuola di Ingegneria Industriale e dell'Informazione
21-dic-2017
2016/2017
Il glioblastoma multiforme (GBM) è una delle forme più aggressive di tumore al cervello e rappresenta il 50% dei gliomi diagnosticati. Come ampiamente riportato in letteratura, l'elevata capacità di attaccare i tessuti in profondità rende il GBM difficile da trattare attraverso le terapie tradizionali, come la chemioterapia e la resezione. La convection enhanced delivery (CED), una tecnica che consiste nella somministrazione degli agenti chemioterapici direttamente nella zona tumorale tramite un catetere, ha mostrato risultati incoraggianti nel trattamento del GBM. Tuttavia, l'efficacia della CED dipende da molteplici fattori, tra cui la microstruttura dei tessuti cerebrali. E’ possibile, dunque, ricorrere a immagini di microscopia elettronica (EM) del cervello per estrarre le sue proprietà fisiche, legate soprattutto alla disposizione degli assoni all'interno dei tessuti. In questa tesi vengono proposte due diverse reti neurali convoluzionali (CNN) per la segmentazione degli assoni in immagini EM. La prima configurazione di CNN proposta (Architettura 1) è una rete di classificazione costituita da 4 blocchi convoluzionali, tre dei quali seguiti da un blocco di max pooling, e due strati fully connected (FC) che consentono l'estrazione delle informazioni dalle immagini in ingresso. L'Architettura 1 riceve in ingresso una porzione di immagine e, attraverso una progressiva astrazione dell'informazione, fornisce in uscita la classificazione per il pixel centrale della porzione di immagine ricevuta in ingresso. Dunque, per segmentare un'immagine occorre fornire in ingresso alla rete tante porzioni di tale immagine quanti sono i pixel che la costituiscono. L'Architettura 2, invece, lavora sull'intera immagine, sia in ingresso che in uscita e per tale motivo questa rete non contiene strati FC. In questo modello vengono prima estratte le caratteristiche dell'immagine in maniera analoga all'Architettura 1 e successivamente vengono usati dei blocchi deconvoluzionali in modo tale da ottenere in uscita un'immagine delle stesse dimensioni di quella ricevuta in ingresso, recuperando i pixel persi per effetto delle operazioni di convoluzione. Per addestrare entrambi i modelli di CNN è stato usato l'algoritmo di discesa del gradiente ed è stata scelta la cross-entropia come funzione di costo. E’ stato, inoltre, usato il metodo di ottimizzazione Adam, che tiene conto sia della media che della varianza non centrata del gradiente della funzione di costo, per l'aggiornamento dei parametri durante il processo di apprendimento delle reti. L'addestramento e la validazione delle architetture proposte in questo lavoro sono stati condotti utilizzando 30 immagini di dimensioni 512 x 512 ottenute tramite microscopia elettronica a trasmissione (TEM) del ramo ventrale del nervo spinale di una larva di drosophila. I risultati ottenuti hanno rivelato che l'approccio basato sulle CNN impiegato nell'implementazione dell'Architettura 1 permette di ottenere errori di segmentazione inferiori (pixel error, PE = 88 ·10-3) rispetto a quelli di modelli basati su random forest (RF) (PE = 157 ·10-3) e su reti neurali artificali (ANN) (PE = 134 ·10-3) presenti in letteratura. Tali risultati suggeriscono che le CNN, rispetto agli altri metodi di machine learning, permettono di raggiungere performance migliori nella segmentazione di assoni in immagini EM poiché massimizzano l'estrazione del contenuto informativo. Negli altri metodi di machine learning (come RF e ANN), infatti, vengono selezionate ed utilizzate solo alcune delle caratteristiche di un'immagine (per esempio, l'intensità media dei valori dei pixel). Confrontando i risultati ottenuti usando le due architetture proposte, è emerso che l'Architettura 2 raggiunge valori di accuratezza più elevati (mediana = 91:8%, differenza interquartile (IQR) = 0:3%) rispetto all'Architettura 1 (mediana= 90:9%, IQR= 0:8%). Il costo computazionale per eseguire la segmentazione risulta significativamente (Wilcoxon, α= 0.05) inferiore per l'Architettura 2 (mediana= 5.13 sec, IQR= 0.21 sec), rispetto all'Architettura 1 (mediana = 17.6 min, IQR= 0.4 min). L'Architettura 2 raggiunge valori di accuratezza migliori poichè, nella classificazione del singolo pixel, permette di sfruttare non solo il contenuto informativo dell'immagine ma anche le predizioni sui pixel adiacenti, al contrario dell'Architettura 1 in cui le predizioni su pixel adiacenti avvengono in maniera indipendente. I risultati ottenuti in questo lavoro costituiscono un incoraggiante punto di partenza per lo studio della microstruttura dei tessuti cerebrali al fine di ottimizzare la terapia CED per il trattamento del GBM.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
2017_12_Gazzara.pdf

non accessibile

Descrizione: Testo della tesi
Dimensione 3 MB
Formato Adobe PDF
3 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/138099