Harmonization of automated segmentation of white matter hyperintensities across populations and scanners

The increasing availability of magnetic resonance brain imaging data from different studies offers the possibility to generate normative distributions of neuroimaging markers, greatly enhancing their clinical utility. However, variations in data properties across different acquisition scanners and protocols can limit our ability to combine datasets, rising the challenge of ensuring consistency of markers measures across imaging cohorts. In this context, we explore the harmonization of White matter hyperintensities (WMHs) measures across scanners and populations. WMHs are gaining more and more relevance as a marker of potential cardiac risks factors and development of cognitive decline in asymptomatic aging. In addition, they are considered a potential marker of cognitive impairment and dementia when the comorbidity with neurodegenerative pathologies is present. A more detailed characterisation of such lesions is therefore fundamental to boost their relevance and trustworthiness as markers. Among the tools evaluated during the optimization of the WMH segmentation process, BIANCA (Brain Intensity AbNormality Classification Algorithm) has emerged as very promising. It offers great flexibility and good segmentation performance. However, it is sensitive to the inter-scanner differences characterising images. A recent study by Bordin and colleagues (Bordin et al. 2021) developed a pipeline aimed at reducing the existing non-biological bias between WMH measures extracted from different imaging cohorts using BIANCA. The pipeline encompasses both image pre-processing steps and the use of a training set built as a mix of imaging data from two populations: UK Biobank (UKB) and the Whitehall II Study (WH). The training set (namely, harmonized training set) was recently made available to users but has not yet been validated on populations other than those used for its own development. In an attempt to fill this gap, we conducted a validation study, by testing both its segmentation and harmonization abilities on novel populations, namely the third release of the Open Access Series of Imaging Studies (OASIS-3) and the third phase of the Alzheimer’s Disease Neuroimaging Initiative (ADNI3). Both OASIS-3 and ADNI3 were further divided in sub-populations acquired with different scanner and/or acquisition parameters. This additional step allowed to assess the harmonization both across imaging cohort derived from the same populations (i.e., inter-scanner harmonization) and across populations (i.e., inter-population). As regards the assessment of the segmentation performance, we evaluated the accuracy, specificity and sensitivity of the automatic segmentations obtained with the harmonized training set over OASIS-3 and ADNI3. Performance were compared with those reported in literature and with those obtained with the considered optimal training strategy. Results have shown the great applicability of this harmonized training set to segment heterogeneous imaging cohorts, without loss in performance with respect to the optimal case. As regard harmonization performance, them have been evaluated as existing bias in WMH measures extracted from OASIS-3 and ADNI3 by using the harmonized training set. Performance are compared with those obtained when the optimal training strategy is used and with those obtained with more established harmonization techniques like ComBat. Results highlighted the good performance of the harmonized training set, in particular when dealing with imaging cohorts from the same population. On the contrary, results highlight a lack in harmonization when dealing with measures obtained across populations. Results for ComBat approach suggested that the harmonization pipeline by Bordin and colleagues could serve as a possible alternative to this technique. However, it is important to note that, despite its good potential, some limitations are present, especially in the context of inter-population comparisons.

La crescente disponibilità di immagini cerebrali, ottenute tramite risonanza magnetica e provenienti da diversi studi, offre la possibilità di generare distribuzioni normative di marcatori di neuroimaging e migliorare notevolmente la loro utilità clinica. Tuttavia, le variazioni nelle proprietà delle immagini, dovute ai diversi macchinari e protocolli di acquisizione, possono limitare la nostra capacità di combinare queste ultime e di garantire la coerenza nelle misure dei marcatori estratti da esse. In questo contesto, esploriamo l'armonizzazione delle misure di White Matter Hyperintensities (WMHs) ottenute rispetto a diversi macchinari di acquisizione e diverse popolazioni di soggetti. Le WMHs stanno acquistando sempre più rilevanza come marcatore di potenziali fattori di rischio cardiaci e sviluppo del declino cognitivo nell'invecchiamento asintomatico. Inoltre, sono considerate un potenziale marcatore di compromissione cognitiva e demenza quando è presente la comorbilità con patologie neurodegenerative. Una caratterizzazione più dettagliata di tali lesioni è quindi fondamentale per aumentarne l'affidabilità come marcatori. Tra gli strumenti emersi con lo scopo di ottenere una segmentazione automatizzata di tali lesioni, BIANCA (Brain Intensity AbNormality Classification Algorithm) risulta molto promettente. Il software offre grande flessibilità e buone prestazioni di segmentazione ma è tuttavia sensibile alle differenze dovute al macchinario di acquisizione che caratterizzano le immagini usate. Per questa ragione, lo studio di Bordin e colleghi (Bordin et al., 2021) ha sviluppato una procedura mirata a ridurre quelle differenze dovute a fattori non biologici ed esistenti tra le misure delle WMH estratte da diverse coorti di immagini, utilizzando BIANCA. La procedura comprende sia passaggi di pre-elaborazione delle immagini sia l'uso di un training set ottenuto come combinazione di immagini di soggetti provenienti da due popolazioni: UK Biobank (UKB) e lo Studio Whitehall II (WH). Il training set (noto come harmonized training set) è stato reso recentemente disponibile agli utenti ma non è ancora stato validato su popolazioni diverse da quelle utilizzate per il suo sviluppo. Nel tentativo di colmare questa lacuna, abbiamo condotto uno studio di validazione, testando le capacità di segmentazione e armonizzazione dell’harmonized training set su due nuove popolazioni: il terzo dataset proposto da Open Access Series of Imaging Studies (OASIS-3) e la terza fase dello studio Alzheimer’s Disease Neuroimaging Initiative (ADNI3). Le popolazioni di OASIS-3 e ADNI3 sono state ulteriormente suddivise in sotto-popolazioni acquisite con diversi macchinari e/o parametri di acquisizione. Questo passaggio aggiuntivo ha permesso di valutare l'armonizzazione tra coorti di immagini di soggetti provenienti dalle stesse popolazioni (cioè inter-macchinario) e soggetti provenienti da popolazioni diverse (cioè inter-popolazione). Per quanto riguarda la valutazione delle prestazioni di segmentazione, abbiamo valutato l'accuratezza, la specificità e la sensibilità delle segmentazioni automatiche ottenute con l’harmonized training set su OASIS-3 e ADNI3. Le prestazioni sono state confrontate con quelle riportate in letteratura e con quelle ottenute con quella che attualmente risulta la strategia di training ottimale. I risultati hanno dimostrato la grande applicabilità dell’harmonized training set nella segmentazione di coorti di immagini eterogenee e nessuna diminuzione delle prestazioni rispetto al caso ottimale. Per quanto riguarda le prestazioni di armonizzazione, esse sono state valutate esaminando la variabilità esistente nelle misure dei WMH estratte da OASIS-3 e ADNI3, quando l’harmonized training set è utilizzato. Le prestazioni sono state confrontate con quelle ottenute utilizzando la strategia di allenamento ottimale e con quelle ottenute con metodi di armonizzazione più consolidati come ComBat. I risultati hanno evidenziato le buone prestazioni di armonizzazione dell’harmonized training set, in particolare quando si tratta di coorti di immagini da soggetti provenienti dalla stessa popolazione. Al contrario, i risultati evidenziano una mancanza di armonizzazione quando si tratta di misure ottenute da popolazioni diverse. I risultati ottenuti con ComBat hanno suggerito che la procedura sviluppata de Bordin e colleghi potrebbe essere considerata come un’alternativa al suo utilizzo. Tuttavia, è importante notare che, nonostante il suo buon potenziale, sono presenti alcune limitazioni, specialmente in un contesto di armonizzazione tra popolazioni.