Assessment of White Matter Hyperintensities segmentation and their correlation with Dementia

CONTEXT - The growth in life expectancy occurred over the last few decades has contributed to an increase in the incidence of Neurodegenerative (NDs) and age-related conditions, such as cognitive decline, Multiple Sclerosis, Parkinson's or Alzheimer's disease (AD). In this context, an early-stage diagnosis is often associated with better rates of success in both limiting the disease progression and preventing symptoms development. Therefore, a strong pressure has been exerted on the scientific and medical community to identify biomarkers for both the detection and monitoring of NDs. Among these, White Matter Hyperintensities (WMHs), have recently gained more and more importance. These areas of abnormal intensity on Magnetic Resonance Imaging (MRI), were once treated as simple artifacts or neurological signs of healthy aging. However, latest findings have proved their association with demyelination and axonal loss, and have linked their presence with an increased risk of developing cognitive impairment along with several NDs. WMH segmentation is particularly important in both medical and research contexts, and several machine learning (ML) strategies have been developed over the past twenty years aiming to automatically segment and quantify their volume. Among these we find BIANCA, an automatic tool developed by the Oxford University based on the k-NN method. Regardless of being widely known, and despite the significant optimization endeavors that have been recently carried out to optimize its outcomes, some aspects still remain unexplored and open the lead for further improvements. OBJECTIVES - The purpose of this thesis is twofold. On one hand, we aim to evaluate BIANCA performance according to different parameters such as: i) the number of subjects used for the training phase; ii) the different combinations of MRI contrasts involved in the process; iii) the different training strategy used (i.e., training and testing on images from different databases vs training and testing on images from the same database). This in order to find the proper combination of values able to optimize the final WMH segmentation. While carrying out the third step, a training set from a former harmonization study (involving the Whitehall and UK Biobank populations) was used, thus allowing for a simultaneous validation of its applicability. On the other hand, we aimed at demonstrating the role of WMHs as early-stage biomarker for AD dementia. This was assessed by feeding both clinical and imaging data (i.e., the WMH volumes extracted using BIANCA) to a classification algorithm aimed to evaluate the Clinical Dementia Rate (CDR) of subjects affected by AD. Finally, the the importance exerted by WMHs on the final classification was Evaluated. METHODS - To achieve the first objective of the thesis we downloaded 40 subjects having FLAIR, T1-weighted and Susceptibility Weighted Imaging (SWI) scans from the OASIS3 database. The images were pre-processed (i.e., brain extracted, biasfield corrected and registered to a common MRI modality), manually segmented and eventually fed to BIANCA. Its performance was evaluated according to the following steps: i) training on a pool of incremental subjects (10, 15, 20, 25, 30) and testing on the entire dataset using a 4-fold validation approach; ii) training and testing with the following combination of MRI modalities: "FLAIR only", "FLAIR + T1w”, “FLAIR + SWI”, “FLAIR + T1w + SWI” and “SWI only” on the entire dataset using a Leave-One-Out validation approach; iii) training BIANCA on the external training set provided by a former harmonization study and testing on the OASIS3 images (mixed training approach). As for the last step, performance was compared with both the existing literature and results from the incremental training set analysis (single-site training approach). The evaluation metric used to assess results was the Dice Similarity Index (DICE). To achieve the second objective of this thesis, clinical variables from the OASIS3 were matched with their imaging counterpart (i.e., the WMH volumes extracted using BIANCA) to train and test three different Classification models: Support Vector Machine (SVM), Artificial Neural Network (ANN), Random Forest Classifier (RFC). Performance was evaluated by means of accuracy, precision, recall and F1-score. The importance exerted by the different input variable on the final classification was instead evaluated through the permutation importance score. RESULTS – As for BIANCA results, it is possible to notice an increased performance when adding more subjects to the training. However, a plateau is reached when the number of subjects approaches the value of 20 or 25 depending on the accuracy of the manual segmentations used to carry out the evaluation. The SWI contrast used is unable to provide any useful information, leading to insufficient results when used alone and to worsened performance when combined with other contrasts. Finally, when tested on the OASIS3, BIANCA trained with data from Whitehall and UK Biobank achieved comparable performance with that of the existing literature. In addition, the single-site training approach (represented by the incremental training analysis) showed improved results with respect to the mixed (i.e., harmonization training set) only when the number of involved subjects involved in the process was higher than or equal to 20. As for the classification model, the SVM showed acceptable performance and pointed to WMHs as one of the most relevant features used to predict CDR. This confirmed the importance of this neurological sign as imaging hallmarks for AD dementia. CONCLUSIONS – With these findings we have optimized the automatic segmentation strategy represented by BIANCA. In addition, we have validated a preliminary harmonization pipeline created to derive integrated measures of WMH volumes. Eventually, we have further proved the role of WMHs as early-stage biomarker for AD dementia.

CONTESTO - La crescita dell'aspettativa di vita avvenuta negli ultimi decenni ha contribuito ad aumentare l'incidenza di Patologie Neurodegenerative (ND) e legate all'età, come il declino cognitivo, la Sclerosi Multipla, il morbo di Parkinson o di Alzheimer (AD). In questo contesto, una diagnosi allo stadio iniziale è spesso associata a migliori percentuali di successo sia nel limitare la progressione della malattia sia nel prevenire lo sviluppo dei sintomi. Pertanto, è stata esercitata una forte pressione sulla comunità scientifica e medica per identificare biomarcatori sia per il rilevamento che per il monitoraggio delle ND. Tra questi, le White Matter Hyperintensities (WMH), hanno recentemente acquisito sempre più importanza. Queste aree di intensità anormale sulla risonanza magnetica (MRI), una volta venivano trattate come semplici artefatti o segni neurologici di invecchiamento sano. Tuttavia, le ultime scoperte hanno dimostrato la loro associazione con demielinizzazione e perdita assonale e hanno collegato la loro presenza a un aumentato rischio di sviluppare deterioramento cognitivo insieme a diverse ND. La segmentazione WMH è particolarmente importante sia in ambito medico che di ricerca e negli ultimi vent'anni sono state sviluppate diverse strategie di Machine Learning (ML) volte a segmentare e quantificare automaticamente il loro volume. Tra questi troviamo BIANCA, uno strumento automatico sviluppato dall'Università di Oxford basato sul metodo k-NN. Nonostante sia ampiamente conosciuto e malgrado i notevoli sforzi di ottimizzazione che sono stati recentemente effettuati per migliorarne i risultati, alcuni aspetti rimangono ancora inesplorati e aprono la strada a ulteriori miglioramenti. OBIETTIVI - Lo scopo di questa tesi è duplice. Da un lato, ci proponiamo di valutare le prestazioni di BIANCA secondo diversi parametri quali: i) il numero di soggetti utilizzati per la fase di Training; ii) le diverse combinazioni di contrasti MRI coinvolti nel processo; iii) la diversa strategia di Training utilizzata (ad esempio, Training e Testing su immagini provenienti da database diversi contro Training e Testing su immagini dello stesso database). Questo al fine di trovare la giusta combinazione di valori in grado di ottimizzare la segmentazione finale delle WMH. Durante l'esecuzione della terza fase è stato utilizzato un Training Set da un precedente studio di armonizzazione (che ha coinvolto le popolazioni di Whitehall e UK Biobank), consentendo così una convalida simultanea della sua applicabilità. Inoltre, abbiamo mirato a dimostrare il ruolo delle WMH come biomarcatori in fase iniziale per la demenza di AD. Ciò è stato valutato allenando un algoritmo di classificazione sia con i dati clinici che con quelli di imaging (cioè i volumi WMH estratti utilizzando BIANCA) e il cui obiettivo è quello di stimare il tasso di demenza clinica (CDR) dei soggetti affetti da AD. Infine, è stata valutata l'importanza esercitata dalle WMH sulla classificazione finale. METODI - Per raggiungere il primo obiettivo della tesi abbiamo scaricato 40 soggetti con scansioni FLAIR, T1-weighted e Susceptibility Weighted Imaging (SWI) dal database OASIS3. Le immagini sono state pre-elaborate (ovvero, estrazione del cervello, correzione del biasfield e registrazione a una modalità di risonanza magnetica comune), segmentate manualmente e infine utilizzate per allenare BIANCA. Le sue prestazioni sono state valutate secondo i seguenti passaggi: i) Training su un pool di soggetti incrementali (10, 15, 20, 25, 30) e Testing sull'intero set di dati utilizzando un approccio di validazione 4-fold; ii) Training e Testing con le seguenti combinazioni di modalità di risonanza magnetica: "FLAIR only", "FLAIR + T1w", "FLAIR + SWI", "FLAIR + T1w + SWI" e "SWI only" sull'intero set di dati utilizzando un approccio di validazione Leave-One-Out; iii) Training di BIANCA sul Training Set esterno fornito da un precedente studio di armonizzazione e Testing sulle immagini di OASIS3 (approccio Training misto). Per quanto riguarda l'ultimo passaggio, le prestazioni sono state confrontate sia con la letteratura esistente che con i risultati dell’analisi incrementale del Training Set (approccio Training a singolo sito). La metrica di valutazione utilizzata è stata il Dice Similarity Index (DICE). Per raggiungere il secondo obiettivo di questa tesi, le variabili cliniche di OASIS3 sono state accoppiate alla loro controparte di imaging (cioè i volumi WMH estratti utilizzando BIANCA) per addestrare e testare tre diversi modelli di classificazione: Support Vector Machine (SVM), Artificial Neural Network (ANN), Random Forest Classifier (RFC). Le prestazioni sono state valutate tramite i punteggi di accuratezza, precisione, recall e F1-score. L'importanza esercitata dalla diversa variabile di input sulla classificazione finale è stata invece valutata attraverso il punteggio di “permutation importance”. RISULTATI – Per quanto riguarda i risultati BIANCA, è possibile notare un aumento delle prestazioni aumentando il numero soggetti al Training. Tuttavia, si raggiunge un plateau quando questo numero si avvicina al valore di 20 o 25 a seconda dell'accuratezza delle segmentazioni manuali utilizzate durante il Training. Il contrasto SWI utilizzato non è in grado di fornire alcuna informazione utile, portando a risultati insufficienti se utilizzato da solo e ad un peggioramento delle prestazioni se combinato con altri contrasti. Infine, quando testato su OASIS3, BIANCA allenato con i dati di Whitehall e UK Biobank ha ottenuto prestazioni comparabili con quelle della letteratura esistente. Inoltre, l'approccio Training a singolo sito (rappresentato dall'analisi del Training incrementale) ha mostrato risultati migliori rispetto a quello misto (ossia, Training Set proveniente dallo studio di armonizzazione) solo quando il numero di soggetti coinvolti nel Training è stato maggiore o uguale a 20. Per quanto riguarda il modello di classificazione, SVM ha mostrato prestazioni accettabili e ha indicato le WMH come una delle variabili più rilevanti utilizzate per prevedere il CDR. Ciò ha confermato l'importanza di questo segno neurologico come caratteristica distintiva di imaging per la demenza AD. CONCLUSIONI – Con questi risultati abbiamo ottimizzato la strategia di segmentazione automatica rappresentata da BIANCA. Inoltre, abbiamo convalidato una pipeline di armonizzazione preliminare creata per derivare misure integrate dei volumi WMH. Infine, abbiamo ulteriormente dimostrato il ruolo dei WMH come biomarcatori in fase precoce per la demenza AD.