Artificial Intelligence for synthetic 4D Computed Tomography image generation for Carbon Ion Radiotherapy of abdominal tumours

Purpose: MRI–guidance has gained increasing interest in X-Ray Radiotherapy, given that it provides excellent soft tissue contrast and radiation-free imaging. It enables multiple and repeated acquisitions, differently from Computed Tomography (CT). CT-MRI integrated systems are already commercially available in X-Ray radiotherapy, but such systems are not yet available for particle therapy. Nonetheless, the off-line use of Magnetic Resonance Imaging (MRI) might support treatment planning and adaptation through the use of neural networks for the generation of synthetic CTs (sCTs). Only a small amount of literature studies on sCT of the abdominal region exists. The absence of works, relative to the application of sCTs in Carbon Ions Radiotherapy (CIRT) of moving organs, was the reason for this work to employ a Deep Learning methodology for the generation of sCT images of the abdominal region. By utilizing respiratory-correlated 4DCT and 4DMRI we generated sCT volumes. The potential application of these sCT images within an MRI-only workflow, for carbon ion radiotherapy (CIRT) treatment planning, was explored. Methods: In this study, 37 4D MRI-CT volume pairs were collected from 24 abdominal cancer patients treated with CIRT at the National Center for Oncological Handrontherapy (CNAO, Pavia). The sCTs were generated using two conditional-Generative Adversarial Networks (cGAN). One network was derived from the open source cGAN of “Pix2pPix” by Isola et al, which we called “Pix2pix net”. The second network was created for comparison purposes, and its architecture was derived from the work of Rossi et al 2021, we called this network “Inception net". Both networks were optimized with a single channel-input architecture. In this case the input to the networks was composed of single channel slices. Eliminating the need of segmenting different tissues on the input MRI slices, as is necessary for the 3-channel architecture. The single channel networks take as input CT/MRI transversal slice pairs descriptive of four respiratory phases (0EX, 30EX, 30IN, 100IN). The 3-channel architecture, on the other hand, is based on segmenting air, soft tissue, and bone from the MRI slices. After the optimization of the single channel Pixp2pix net and of the single channel Inception net, the 3-channel architecture was also analysed to compare it with the single channel results. The 3-channel networks were also tested on an MRI-only test dataset, to simulate the final application of the network in a clinical scenario, where just MRI data would be acquired. The generated sCTs were evaluated by means of similarity metrics (Mean Absolute Error, Normalized Cross Correlation, Structural Similarity Index and Peak Signal to Noise Ratio) to assess the quality of the results. Results: The quality of the sCTs improved when using the Inception net with respect to the Pix2pix net, both for the single channel architecture and the 3-channel architecture. All metrics were aligned with the literature. They improved when utilizing the 3-channel architecture (NCC= 0.942±0.02, MAE = 50.597 ± 2.01 HU). The masks obtained from the target CTs were used in this case. Results showed optimal MAE on bone structures (69.962 ± 7.14 HU) and soft tissues (52.596 ± 6.35 HU). When using the manually segmented masks for the MRI-only set the results decreased in quality (MAE= 110.694 ± 11.547 HU, MAEBONE= 109.28 ± 16.51 HU). Because of the complexity of manually segmenting MRI images, as well as the lack of a proper ground truth, the MRI-only workflow provided worse results. The single channel input architecture provided poorer sCTs in terms of similarity metrics with respect to the 3-channel networks. It was mainly due the lack of information from missing the segmentation of the tissues. The networks were not always being able to provide a continuous generation in terms of bone tissue. In fact, the ribs have not always been well represented. Also, the air pockets are mostly lost because of the lack of correspondence in training between the MRI and target CT pairs, due to the images not being acquired at the same time. The single channel networks, because of this, did not learn correctly how to generate air pockets for the sCTs. Overall, the single channel Inception net provided better results, in terms of sCT generation, than the single channel Pix2pix net. In terms of body MAE, we were able to obtain 90.751± 9.74 HU for the single channel Inception net and 99.155± 10.88 HU for the single channel Pix2pix net. Conclusions: This work showed that both the single channel and the 3-channel architecture cGANs can generate good quality sCTs of the abdominal site. Outperforming in some aspect literature works. The 3-channel architecture remained superior in terms of metrics and final output but it relies on the need of segmenting the different tissues of the MRI volumes correctly. Without the use of a target CT this process represents a time-consuming job, with possible errors due to manual segmentation, of tissues not well represented on the MRI. For this reason, the single channel architecture constitutes a possible alternative, where its independence from the target CT, for the generation of sCTs, constitutes a great advantage. The results of this work are put towards future in depth analysis on the feasibility of MRI-only workflows in CIRT.

Scopo: La radioterapia a raggi X guidata da MRI ha suscitato un interesse crescente poiché offre un eccellente contrasto dei tessuti molli e immagini prive di radiazioni, consentendo acquisizioni multiple e ripetute. Sistemi integrati sono già disponibili commercialmente nella radioterapia a raggi X, ma tali sistemi non sono ancora disponibili per la terapia a particelle. Tuttavia, l'uso offline di MRI potrebbe supportare la pianificazione e l'adattamento del trattamento attraverso l'uso di reti neurali per la generazione di CT sintetiche. A causa della scarsa quantità di studi letterari sulle CT sintetiche della regione addominale e all'assenza di lavori relativi alla loro applicazione nella radioterapia a ioni di carbonio (CIRT), questo studio si è concentrato principalmente sull'impiego di una metodologia di deep learning (DL) per la generazione di immagini CT sintetiche della regione addominale tramite reti neurali, utilizzando volumi 4DCT e volumi virtuali 4DT1. Abbiamo esplorato specificamente l'applicazione potenziale di queste immagini CT sintetiche all'interno di un flusso di lavoro basato esclusivamente su volumi MRI, per la pianificazione del trattamento con CIRT. Metodi: Grazie alla collaborazione con il Centro Nazionale di Adroterapia Oncologica (CNAO, Pavia), sono state raccolte 37 coppie di volumi MRI-CT da 24 pazienti affetti da tumore al fegato e al pancreas e trattati con radioterapia con ioni carbonio. Le CT sintetiche sono state generate attraverso due reti cGAN derivate dalla rete open-source "Pix2Pix" chiamata Pix2pix net e dal lavoro di Rossi et al. 2021 chiamata Inception net. Ottimizzate per lavorare su un'architettura a singolo canale senza la necessità di segmentare i diversi tessuti delle fette MRI in input alle reti. Le reti hanno preso in input coppie MRI-CT con quattro fasi respiratorie ottenute mediante l'applicazione della registrazione deformabile delle immagini e dei campi vettoriali deformabili tra volumi MRI pesati in T2 e T1. Le CT sintetiche generate sono state valutate mediante metriche di similarità (Errore Assoluto Medio, Correlazione Crociata Normalizzata, Indice di Similarità Strutturale e Rapporto Segnale-Rumore di Picco) per valutare la qualità dei risultati ottenuti dalle due reti quando si utilizza sia un'architettura a singolo canale che un'architettura a 3 canali, in cui le fette RM di input sono segmentate in aria, tessuto molle e osso. L'architettura a 3 canali è stata anche analizzata alla fine del lavoro per confrontarla con i risultati del singolo canale, dove non c'è bisogno di segmentare le fette di input. Risultati: La qualità delle CT sintetiche è migliorata utilizzando la Inception net rispetto alla Pix2pix net, sia per l'architettura a singolo canale che per l'architettura a 3 canali. Tutte le metriche erano allineate alla letteratura e migliori rispetto ai lavori precedenti quando si utilizzava l'architettura a 3 canali, con le maschere ottenute dalle TC di riferimento (NCC = 0,942 ± 0,02, MAE = 50,597 ± 2,01 HU), con un MAE ottimale sulle strutture ossee (69,962 ± 7,14 HU) e sui tessuti molli (52,596 ± 6,35 HU). Quando si utilizzavano le maschere manualmente segmentate per il set RM-only, i risultati peggioravano (MAE = 110.694 ± 11.547 HU, MAEBONE = 109.28 ± 16.51 HU) a causa della complessità della segmentazione manuale della MRI e della mancanza di un adeguato punto di riferimento. L'architettura a singolo canale forniva risultati peggiori rispetto a quella a 3 canali, principalmente a causa della mancanza di informazioni quando mancava la segmentazione dei tessuti, con le reti non sempre in grado di fornire una generazione continua in termini di tessuto osseo, dove le costole non sono sempre ben rappresentate. Inoltre, le sacche d'aria sono per lo più perse a causa della mancanza di corrispondenza nell'addestramento tra le coppie MRI-CT di riferimento, con la rete che non apprende correttamente come generare le sacche d'aria per le CT sintetiche. Nel complesso, la Inception net si è dimostrata migliore della Pix2pix net, nella generazione delle CT sintetiche, anche per l'architettura a singolo canale, con un MAE di 90,751 ± 9,74 HU per la Inception net a singolo canale e 99,155 ± 10,88 HU per la Pix2pix net a singolo canale. Conclusioni: Questo lavoro ha dimostrato che sia le cGAN a singolo canale che quelle a 3 canali possono generare delle CT sintetiche di buona qualità della regione addominale, superando alcuni aspetti dei lavori presenti in letteratura. L'architettura a 3 canali rimane superiore in termini di metriche e risultati finali, ma dipende dalla possibilità di segmentare correttamente i diversi tessuti dei volumi MRI, il che rappresenta un lavoro che richiede tempo in assenza di una CT di riferimento. Per questa ragione, l'architettura a singolo canale rappresenta una possibile alternativa in cui la sua indipendenza dal CT di riferimento per la generazione delle CT sintetiche rappresenta un grande vantaggio. I risultati di questo lavoro vengono messi a disposizione per future analisi approfondite sulla fattibilità dei flussi di lavoro basati esclusivamente su MRI nel trattamento con ioni carbonio.