Currently, Deep Learning-based Image Registration (DLIR) approaches use U-Net architectures to substitute the iterative methods warping steps learning a single-shot registration function from affine/rigid pre-aligned images expanding the conventional applications range to time-sensitive clinical scenarios. Despite this, most common DLIR methods, like VoxelMorph, register brain localized deformations, being confined in the rigid structure of the skull. However, other organs, such as the abdominal ones, show wider deformation ranges and anatomical differences than the brain ones. This aspect brings the affine/rigid pre-alignment far from the solution, causing the subsequent deformable registration to converge poorly. Furthermore, loss functions are applied regardless of image content and permissible deformations, producing suboptimal transformations. In this context, AbdoMReg presents an unsupervised deformable monomodal and multimodal DLIR framework based on a U-Net architecture tailored for abdominal Magnetic Resonance (MR) images. The main AbdoMReg contributions are: an abdominal specific loss weights distribution, normalized diffusion spatial gradient, and curl regularizers to fix the linear deformations coming from the suboptimal pre-registration to boost the interpatient registration performance; simulated abdominal deformations models to illustrate the VoxelMorph limitations for monomodal and multimodal registration even with the lower intrapatient abdominal displacements; AbdoMReg training on a low cardinality public abdominal MR image dataset. Iterative and the VoxelMorph baseline comparisons demonstrate how AbdoMReg reaches up to 10% Dice Similarity Coefficient (DSC) improvement, while comparable average Structural Similarity Index Measure (SSIM) between all organs when aligning interpatient images, and 6% and 13% average DSC and SSIM improvements with simulated intrapatient deformations. AbdoMReg beats all the baselines even with different contrast images, leading to up to a 7% average DSC improvement for three organs out of four. These performances with the average 40x runtime speedup over iterative methods demonstrate these strategies' novelty and their potential in making a step forward in the research field of DLIR methods for the most critical clinical use-cases.

Attualmente, la registrazione di immagini mediche basata su Deep Learning (DL) sfrutta reti neurali di tipo U-Net per imparare una funzione di registrazione da immagini pre-allineate in modo rigido/affine, al fine di sostituire le numerose iterazioni necessarie per la registrazione dei metodi convenzionali e sviluppare applicazioni cliniche negli scenari in cui il tempo si presenta come un fattore critico. Nonostante questo, però, i più comuni metodi di registrazione di immagini mediche basati su DL, come VoxelMorph, sono specializzati a registrare le deformazioni limitate del cervello, essendo questo confinato a deformarsi all'interno della struttura del cranio. Tuttavia, altri organi, come quelli addominali, mostrano deformazioni e differenze anatomiche più ampie del cervello. Questo porta l'esito del pre-allineamento lontano dalla soluzione, causando una convergenza parziale anche della successiva registrazione deformabile. Inoltre, le funzioni di addestramento si presentano indipendenti dal contenuto dell'immagine, portando alla predizione di trasformazioni non ottimali. In questo contesto, AbdoMReg propone un metodo per la registrazione deformabile monomodale e multimodale, non supervisionata, di immagini di Risonanza Magnetica (RM) addominale utilizzando una U-Net. I principali contributi di AbdoMReg sono: l'adozione di una distribuzione dei pesi della funzione di addestramento specifica per l'addome, una strategia di normalizzazione del gradiente spaziale di diffusione e l'impiego del rotore come regolarizzatori del campo di deformazione per correggere le deformazioni lineari residue provenienti dal pre-allineamento interpaziente, l'addestramento con deformazioni addominali sintetiche per dimostrare i limiti di VoxelMorph nella registrazione monomodale e multimodale anche con le limitate deformazioni intrapaziente addominali, ed infine, l'utilizzo di un dataset di immagini di RM addominali pubblico e a bassa cardinalità. Il confronto con i metodi iterativi e VoxelMorph dimostra come AbdoMReg raggiunga durante la registrazione interpaziente fino al 10% di miglioramento di Dice Similarity Coefficient (DSC), mentre Structural Similarity Index Measure (SSIM) medio comparabile. Il 6% e il 13% di miglioramento medio in termini di DSC e SSIM vengono invece raggiunti durante la registrazione di deformazioni sintetiche intrapaziente. AbdoMReg supera poi i metodi dello stato dell'arte anche nella registrazione multimodale, portando ad un miglioramento medio del 7% di DSC per tre organi su quattro. Questi risultati assieme a registrazioni fino a 40 volte più veloci dei metodi iterativi dimostrano la novità delle strategie proposte e il loro potenziale impatto nell'ambito della ricerca dei metodi di registrazione deformabile anche nei casi clinici più critici.

AbdoMReg : a deep learning framework for abdominal MR deformable image registration

Poles, Isabella
2020/2021

Abstract

Currently, Deep Learning-based Image Registration (DLIR) approaches use U-Net architectures to substitute the iterative methods warping steps learning a single-shot registration function from affine/rigid pre-aligned images expanding the conventional applications range to time-sensitive clinical scenarios. Despite this, most common DLIR methods, like VoxelMorph, register brain localized deformations, being confined in the rigid structure of the skull. However, other organs, such as the abdominal ones, show wider deformation ranges and anatomical differences than the brain ones. This aspect brings the affine/rigid pre-alignment far from the solution, causing the subsequent deformable registration to converge poorly. Furthermore, loss functions are applied regardless of image content and permissible deformations, producing suboptimal transformations. In this context, AbdoMReg presents an unsupervised deformable monomodal and multimodal DLIR framework based on a U-Net architecture tailored for abdominal Magnetic Resonance (MR) images. The main AbdoMReg contributions are: an abdominal specific loss weights distribution, normalized diffusion spatial gradient, and curl regularizers to fix the linear deformations coming from the suboptimal pre-registration to boost the interpatient registration performance; simulated abdominal deformations models to illustrate the VoxelMorph limitations for monomodal and multimodal registration even with the lower intrapatient abdominal displacements; AbdoMReg training on a low cardinality public abdominal MR image dataset. Iterative and the VoxelMorph baseline comparisons demonstrate how AbdoMReg reaches up to 10% Dice Similarity Coefficient (DSC) improvement, while comparable average Structural Similarity Index Measure (SSIM) between all organs when aligning interpatient images, and 6% and 13% average DSC and SSIM improvements with simulated intrapatient deformations. AbdoMReg beats all the baselines even with different contrast images, leading to up to a 7% average DSC improvement for three organs out of four. These performances with the average 40x runtime speedup over iterative methods demonstrate these strategies' novelty and their potential in making a step forward in the research field of DLIR methods for the most critical clinical use-cases.
D'ARNESE, ELEONORA
ING - Scuola di Ingegneria Industriale e dell'Informazione
28-apr-2022
2020/2021
Attualmente, la registrazione di immagini mediche basata su Deep Learning (DL) sfrutta reti neurali di tipo U-Net per imparare una funzione di registrazione da immagini pre-allineate in modo rigido/affine, al fine di sostituire le numerose iterazioni necessarie per la registrazione dei metodi convenzionali e sviluppare applicazioni cliniche negli scenari in cui il tempo si presenta come un fattore critico. Nonostante questo, però, i più comuni metodi di registrazione di immagini mediche basati su DL, come VoxelMorph, sono specializzati a registrare le deformazioni limitate del cervello, essendo questo confinato a deformarsi all'interno della struttura del cranio. Tuttavia, altri organi, come quelli addominali, mostrano deformazioni e differenze anatomiche più ampie del cervello. Questo porta l'esito del pre-allineamento lontano dalla soluzione, causando una convergenza parziale anche della successiva registrazione deformabile. Inoltre, le funzioni di addestramento si presentano indipendenti dal contenuto dell'immagine, portando alla predizione di trasformazioni non ottimali. In questo contesto, AbdoMReg propone un metodo per la registrazione deformabile monomodale e multimodale, non supervisionata, di immagini di Risonanza Magnetica (RM) addominale utilizzando una U-Net. I principali contributi di AbdoMReg sono: l'adozione di una distribuzione dei pesi della funzione di addestramento specifica per l'addome, una strategia di normalizzazione del gradiente spaziale di diffusione e l'impiego del rotore come regolarizzatori del campo di deformazione per correggere le deformazioni lineari residue provenienti dal pre-allineamento interpaziente, l'addestramento con deformazioni addominali sintetiche per dimostrare i limiti di VoxelMorph nella registrazione monomodale e multimodale anche con le limitate deformazioni intrapaziente addominali, ed infine, l'utilizzo di un dataset di immagini di RM addominali pubblico e a bassa cardinalità. Il confronto con i metodi iterativi e VoxelMorph dimostra come AbdoMReg raggiunga durante la registrazione interpaziente fino al 10% di miglioramento di Dice Similarity Coefficient (DSC), mentre Structural Similarity Index Measure (SSIM) medio comparabile. Il 6% e il 13% di miglioramento medio in termini di DSC e SSIM vengono invece raggiunti durante la registrazione di deformazioni sintetiche intrapaziente. AbdoMReg supera poi i metodi dello stato dell'arte anche nella registrazione multimodale, portando ad un miglioramento medio del 7% di DSC per tre organi su quattro. Questi risultati assieme a registrazioni fino a 40 volte più veloci dei metodi iterativi dimostrano la novità delle strategie proposte e il loro potenziale impatto nell'ambito della ricerca dei metodi di registrazione deformabile anche nei casi clinici più critici.
File allegati
File Dimensione Formato  
2022_04_Poles_01.pdf

non accessibile

Descrizione: Testo dell'executive summary
Dimensione 3.16 MB
Formato Adobe PDF
3.16 MB Adobe PDF   Visualizza/Apri
2022_04_Poles_02.pdf

non accessibile

Descrizione: Testo della tesi
Dimensione 27.45 MB
Formato Adobe PDF
27.45 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/187309