Cancer is the second cause of death in the world; it can affect a specific tissue or organ and afterwards it can spread in other body parts. Metastases are composed by tumoral cells which break away from the primary tumor mass and affect other organs. A non-invasive approach to assess and visualize metastases’ distribution is the whole-body imaging technique. Nowadays, hybrid imaging systems such as, Positron Emission Tomography/Computer Tomography (PET/CT) and Positron Emission Tomography/Magnetic Resonance Imaging (PET/MRI) are used to extract both functional and anatomical information from lesions. The aim of this project is to assess whether a classifier could be trained to detect bone metastases from only MRI (Diffusion Weighted Imaging, DWI) using information obtained from whole-body PET/MRI. As hybrid systems currently employed (PET/CT and PET/MRI) lead to quite high radiation exposure (especially PET/CT), the possibility to detect tumoral lesions only from DWI by means of a classifier could provide improvements in diagnostic field, preserving patients from ionizing radiations. For this purpose, seven whole-body DW images of patients suffering from bone metastases acquired from GE SIGNA PET/MRI 3T hybrid system installed in San Raffaele Hospital, were preprocessed and then divided into small volumes (Volume of Interest, VOI) and radiomic analysis was performed for each VOI. First and second order radiomic features were extracted from each VOI of DWI, while the corresponding VOI of coregistered PET were used as label to discern tumoral from healthy tissue. Afterwards, the radiomic features of each VOI of DWI were used as inputs of a classifier to train the network. Three classifiers were implemented: Neural Network (NN), Random Forest (RF) and Gradient Boosting (GB). In contrast to what common radiomic analyses do in literature, which focus only on single lesions through ad hoc segmentations, this research uses a different and innovative approach: the evaluation was performed in the whole examination, analyzing it VOI-by-VOI. Although this approach increases the number of data, high imbalanced datasets were generated, leading to the misclassification of the networks. In all three classifiers, a fairly high recall, but low precision were obtained. Moreover, from an analysis conducted on 12 radiomic features (chosen by Principal Component Analysis, PCA), 66 scatter plots showed that positive and negative samples were not separable. Causes of partial failure of this research could be manifold. Some critical workflow elements are highlighted, such as the low number of 3 analyzed subjects, the high imbalance of the dataset, the non-inclusion of shape features or the criteria chosen for the labeling. Increasing the number of patients, implementing a different approach to compensate the high imbalance of the dataset, increasing extracted radiomic features (including shape analysis) and employing a different criteria to define the label are valid solutions to implement in a possible future development to improve the result. Although results deviate from what was initially expected, the research gave the possibility to study the feasibility of the whole-body PET/MR images in radiomic analysis and to classifiers’ training. Finally, we hope that this research could be a stepping stone to develop new models which will be implemented also in other kind of tumors and even in other clinical fields, analyzing images different from DWI.

Il cancro è la seconda causa di morte nel mondo; può colpire un determinato organo o tessuto e in seguito diffondersi in altre parti del corpo. Le metastasi sono composte da cellule tumorali che si staccano dal tumore primario e colpiscono altri organi. Un approccio non invasivo per valutare e visualizzare la distribuzione delle metastasi è la tecnica di immagine whole body. Al giorno d’oggi, sistemi ibridi di immagine (come ad esempio Positron Emission Tomography/Computer Tomography, PET/CT, e Positron Emission Tomography/Magnetic Resonance Imaging, PET/MRI) sono usati per estrarre informazioni funzionali e anatomiche dei tumori. L’obiettivo di questo progetto è verificare se sia possibile addestrare un classificatore ad individuare le lesioni tumorali dalle sole immagini DWI (Diffusion Weighted Imaging), utilizzando le informazioni ottenibili da esami PET/MRI whole body. Poiché i sistemi ibridi attualmente in uso (PET/CT e PET/MRI) comportano un’esposizione a radiazioni ionizzanti piuttosto alta (soprattutto le PET/CT), l’eventuale utilizzo della sola DWI accoppiata ad un classificatore che ne possa individuare automaticamente le lesioni, potrebbe essere di grande aiuto diagnostico, preservando i pazienti dall’esposizione di radiazioni ionizzanti. A tale scopo, sette immagini DWI di pazienti con almeno una metastasi ossea, acquisite da un sistema ibrido GE SIGNA PET/MRI 3T situato nell’Ospedale San Raffaele, sono state pre-elaborate e poi divise in piccoli volumi (Volume of Interest, VOI), applicando l’analisi radiomica ad ogni VOI. Da ogni VOI della DWI sono stati estratti i parametri radiomici (solo di primo e secondo ordine), mentre i corrispondenti volumetti PET coregistrati sono stati utilizzati come label per distinguere lesioni metastatiche da non lesioni. In seguito, i parametri radiomici di ogni VOI sono stati usati come input di un classificatore per il suo addestramento. In particolare, sono stati implementati tre classificatori: Neural Network (NN), Random Forest (RF) e Gradient Boosting (GB). A differenza delle classiche analisi di tipo radiomico che si concentrano sulla singola lesione estratta attraverso una segmentazione ad hoc, questo lavoro utilizza un approccio diverso ed innovativo: la valutazione è stata eseguita sull’intero esame analizzando tutti i singoli volumetti che lo compongono. Questo metodo, nonostante incrementi il numero di dati a disposizione, genera dei dataset troppo sbilanciati che rendono l’addestramento dei classificatori particolarmente ostico. In tutti e tre i classificatori sono stati trovati un’alta sensitività, ma una bassa precisione. Inoltre, da un’analisi condotta su 12 5 parametri radiomici (scelti tramite Principal Component Analysis, PCA), 66 scatter plot mostrano che i campioni positivi e negativi non sono separabili. Le cause di tali risultati ottenuti con questo approccio possono essere molteplici. In particolare, sono stati evidenziati alcuni elementi critici del workflow, fra cui il basso numero di soggetti analizzati, l’elevato sbilanciamento del dataset, l’esclusione dei parametri di forma tra le features radiomiche estratte o il criterio di scelta delle label. Aumentare il numero di pazienti, implementare un approccio diverso per compensare l’eccessivo sbilanciamento del dataset, incrementare i parametri radiomici estratti (includendo anche l’analisi di forma) e gestire diversamente il criterio dell’assegnazione della label, sono sicuramente delle valide soluzioni da poter implementare in un possibile sviluppo futuro per migliorare il risultato. Sebbene i risultati di questo lavoro si discostino da quanto previsto inizialmente, il progetto ha dato la possibilità di studiare la fattibilità dell’utilizzo delle immagini PET e MRI per le analisi radiomiche e per il training di classificatori. Infine, si auspica che questa ricerca possa essere un passo significativo per sviluppare nuovi modelli che potranno essere anche su altri tipi di tumore e in diversi ambiti clinici, analizzando immagini differenti dalla DWI.

Radiomic analysis and deep learning approach for bone metastases detection in DWI

NERI, ILARIA
2018/2019

Abstract

Cancer is the second cause of death in the world; it can affect a specific tissue or organ and afterwards it can spread in other body parts. Metastases are composed by tumoral cells which break away from the primary tumor mass and affect other organs. A non-invasive approach to assess and visualize metastases’ distribution is the whole-body imaging technique. Nowadays, hybrid imaging systems such as, Positron Emission Tomography/Computer Tomography (PET/CT) and Positron Emission Tomography/Magnetic Resonance Imaging (PET/MRI) are used to extract both functional and anatomical information from lesions. The aim of this project is to assess whether a classifier could be trained to detect bone metastases from only MRI (Diffusion Weighted Imaging, DWI) using information obtained from whole-body PET/MRI. As hybrid systems currently employed (PET/CT and PET/MRI) lead to quite high radiation exposure (especially PET/CT), the possibility to detect tumoral lesions only from DWI by means of a classifier could provide improvements in diagnostic field, preserving patients from ionizing radiations. For this purpose, seven whole-body DW images of patients suffering from bone metastases acquired from GE SIGNA PET/MRI 3T hybrid system installed in San Raffaele Hospital, were preprocessed and then divided into small volumes (Volume of Interest, VOI) and radiomic analysis was performed for each VOI. First and second order radiomic features were extracted from each VOI of DWI, while the corresponding VOI of coregistered PET were used as label to discern tumoral from healthy tissue. Afterwards, the radiomic features of each VOI of DWI were used as inputs of a classifier to train the network. Three classifiers were implemented: Neural Network (NN), Random Forest (RF) and Gradient Boosting (GB). In contrast to what common radiomic analyses do in literature, which focus only on single lesions through ad hoc segmentations, this research uses a different and innovative approach: the evaluation was performed in the whole examination, analyzing it VOI-by-VOI. Although this approach increases the number of data, high imbalanced datasets were generated, leading to the misclassification of the networks. In all three classifiers, a fairly high recall, but low precision were obtained. Moreover, from an analysis conducted on 12 radiomic features (chosen by Principal Component Analysis, PCA), 66 scatter plots showed that positive and negative samples were not separable. Causes of partial failure of this research could be manifold. Some critical workflow elements are highlighted, such as the low number of 3 analyzed subjects, the high imbalance of the dataset, the non-inclusion of shape features or the criteria chosen for the labeling. Increasing the number of patients, implementing a different approach to compensate the high imbalance of the dataset, increasing extracted radiomic features (including shape analysis) and employing a different criteria to define the label are valid solutions to implement in a possible future development to improve the result. Although results deviate from what was initially expected, the research gave the possibility to study the feasibility of the whole-body PET/MR images in radiomic analysis and to classifiers’ training. Finally, we hope that this research could be a stepping stone to develop new models which will be implemented also in other kind of tumors and even in other clinical fields, analyzing images different from DWI.
SCIFO, PAOLA
ING - Scuola di Ingegneria Industriale e dell'Informazione
6-giu-2020
2018/2019
Il cancro è la seconda causa di morte nel mondo; può colpire un determinato organo o tessuto e in seguito diffondersi in altre parti del corpo. Le metastasi sono composte da cellule tumorali che si staccano dal tumore primario e colpiscono altri organi. Un approccio non invasivo per valutare e visualizzare la distribuzione delle metastasi è la tecnica di immagine whole body. Al giorno d’oggi, sistemi ibridi di immagine (come ad esempio Positron Emission Tomography/Computer Tomography, PET/CT, e Positron Emission Tomography/Magnetic Resonance Imaging, PET/MRI) sono usati per estrarre informazioni funzionali e anatomiche dei tumori. L’obiettivo di questo progetto è verificare se sia possibile addestrare un classificatore ad individuare le lesioni tumorali dalle sole immagini DWI (Diffusion Weighted Imaging), utilizzando le informazioni ottenibili da esami PET/MRI whole body. Poiché i sistemi ibridi attualmente in uso (PET/CT e PET/MRI) comportano un’esposizione a radiazioni ionizzanti piuttosto alta (soprattutto le PET/CT), l’eventuale utilizzo della sola DWI accoppiata ad un classificatore che ne possa individuare automaticamente le lesioni, potrebbe essere di grande aiuto diagnostico, preservando i pazienti dall’esposizione di radiazioni ionizzanti. A tale scopo, sette immagini DWI di pazienti con almeno una metastasi ossea, acquisite da un sistema ibrido GE SIGNA PET/MRI 3T situato nell’Ospedale San Raffaele, sono state pre-elaborate e poi divise in piccoli volumi (Volume of Interest, VOI), applicando l’analisi radiomica ad ogni VOI. Da ogni VOI della DWI sono stati estratti i parametri radiomici (solo di primo e secondo ordine), mentre i corrispondenti volumetti PET coregistrati sono stati utilizzati come label per distinguere lesioni metastatiche da non lesioni. In seguito, i parametri radiomici di ogni VOI sono stati usati come input di un classificatore per il suo addestramento. In particolare, sono stati implementati tre classificatori: Neural Network (NN), Random Forest (RF) e Gradient Boosting (GB). A differenza delle classiche analisi di tipo radiomico che si concentrano sulla singola lesione estratta attraverso una segmentazione ad hoc, questo lavoro utilizza un approccio diverso ed innovativo: la valutazione è stata eseguita sull’intero esame analizzando tutti i singoli volumetti che lo compongono. Questo metodo, nonostante incrementi il numero di dati a disposizione, genera dei dataset troppo sbilanciati che rendono l’addestramento dei classificatori particolarmente ostico. In tutti e tre i classificatori sono stati trovati un’alta sensitività, ma una bassa precisione. Inoltre, da un’analisi condotta su 12 5 parametri radiomici (scelti tramite Principal Component Analysis, PCA), 66 scatter plot mostrano che i campioni positivi e negativi non sono separabili. Le cause di tali risultati ottenuti con questo approccio possono essere molteplici. In particolare, sono stati evidenziati alcuni elementi critici del workflow, fra cui il basso numero di soggetti analizzati, l’elevato sbilanciamento del dataset, l’esclusione dei parametri di forma tra le features radiomiche estratte o il criterio di scelta delle label. Aumentare il numero di pazienti, implementare un approccio diverso per compensare l’eccessivo sbilanciamento del dataset, incrementare i parametri radiomici estratti (includendo anche l’analisi di forma) e gestire diversamente il criterio dell’assegnazione della label, sono sicuramente delle valide soluzioni da poter implementare in un possibile sviluppo futuro per migliorare il risultato. Sebbene i risultati di questo lavoro si discostino da quanto previsto inizialmente, il progetto ha dato la possibilità di studiare la fattibilità dell’utilizzo delle immagini PET e MRI per le analisi radiomiche e per il training di classificatori. Infine, si auspica che questa ricerca possa essere un passo significativo per sviluppare nuovi modelli che potranno essere anche su altri tipi di tumore e in diversi ambiti clinici, analizzando immagini differenti dalla DWI.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
2020_06_Neri.pdf

accessibile in internet solo dagli utenti autorizzati

Descrizione: Testo della tesi
Dimensione 2.93 MB
Formato Adobe PDF
2.93 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/154627