CBCT images inpaiting and sCT generation

Computed Tomography (CT) is a widely used method for acquiring medical images due to its ability to provide accurate and complete scans of the patients. Cone Beam Computed Tomography (CBCT) is another imaging technique which is often chosen for its economical and practical benefits compared to other imaging techniques, however it produces lower-quality images, often affected by artefacts. Many practitioners, especially in contexts that require frequent imaging, have started adopting therapy strategies that combine both CT and CBCT scans: first, a CT scan is used to establish a starting detailed baseline and then CBCT is used to acquire subsequent control images during treatment. The goal of this thesis is to make therapies using both CT and CBCT more effective by addressing and solving the main issues affecting CBCT images. More specifically, we first focused on increasing the quality of CBCT images and removing their artefacts by performing image-to-image translation. We used paired CT and CBCT brain scans from our dataset to generate synthetic CT (sCT) images with a quality comparable to that of CT images. We conducted four experiments on this task: in the first experiment, we used a pix2pix model on 8-bit input images to generate the sCT images; in the second, we again used a pix2pix model but this time on 8-bit images compressed through a non-linear LUT function; in the third, we increased the bit depth of the images, using a pix2pix model on 16-bit images; and in the fourth, we used a CycleGAN model on 8-bit images. Another issue related to CBCT scans is the presence of gaps, corresponding to missing anatomical regions, in the 3D reconstructions of the patients derived from CBCTs. We treated these gaps as holes with a certain pixel width and height in the patients’ 16-bit sagittal slices. We then used a GLCIC model to fill in the holes by performing an image inpainting task. Afterwards, we reused the model trained in the third experiment to generate sCTs from the inpainted CBCT images. Finally, the sCT images produced from all five experiments were compared with the groundtruth CT images using three different metrics: MSE, SSIM, and PSNR. The results of all the experiments were reported and compared.

La Tomografia Computerizzata (CT) è un metodo ampiamente utilizzato per acquisire immagini mediche grazie alla sua capacità di generare scansione precise e complete dei paziento. La Tomografia Computerizzata a Raggi Conici (CBCT) è un'altra tecnica di imaging che viene spesso impiegata per i benefici pratici ed economici che garantisce rispetto ad altre tecniche, tuttavia questa tecnica produce immagini di qualità inferiore e spesso affette da artefatti. Molti medici, soprattutto in contesti che richiedono imaging frequente, hanno iniziato ad adottare strategie terapeutiche che combinano scansioni CT e CBCT: prima a inizio trattamento viene eseguita una scansione CT per stabilire una baseline dettagliata, poi viene utilizzata la CBCT per acquisire immagini di controllo durante la sessione di trattamento. L'obiettivo di questa tesi è rendere più efficaci le terapie che utilizzano sia CT che CBCT, affrontando e risolvendo i principali problemi che affliggono le immagini CBCT. Nello specifico, ci siamo anzitutto concentrati sull'aumentare la qualità delle immagini CBCT e sulla rimozione dei loro artefatti. Abbiamo utilizzato le scansioni cerebrali CT e CBCT del nostro dataset per convertire le immagini CBCT in immagini CT sintetiche (sCT) aventi una qualità paragonabile a quella delle CT. Abbiamo condotto quattro esperimenti circa la generazione di sCT a partire da immagini CBCT: nel primo esperimento abbiamo utilizzato un modello pix2pix su immagini in input a 8-bit; nel secondo abbiamo utilizzato nuovamente un modello pix2pix, ma questa volta su immagini a 8-bit compresse tramite una funzione LUT non lineare; nel terzo abbiamo provato ad aumentare la profondità di bit delle immagini, utilizzando un modello pix2pix su immagini a 16-bit e nel quarto abbiamo utilizzato un modello CycleGAN su immagini a 8-bit. Un altro problema legato alle scansioni CBCT è la presenza di lacune, corrispondenti a regioni anatomiche mancanti, nelle ricostruzioni 3D dei pazienti derivanti da tali scansioni. Queste lacune sono state trattate nella nostra tesi come buchi con una certa larghezza e altezza in pixel presenti nelle slices sagittali a 16-bit estratte dai pazienti. Abbiamo poi utilizzato un modello GLCIC per riempire i buchi applicando su di essi la tecnica dell'inpainting. Successivamente, abbiamo riutilizzato il modello allenato nel terzo esperimento per generare sCT dalle immagini CBCT ottenute dall'inpainting. Le immagini sCT prodotte da tutti e cinque gli esperimenti sono state infine confrontate con le corrispondenti immagini CT utilizzando tre metriche diverse: MSE, SSIM e PSNR. I risultati di tutti gli esperimenti sono stati riportati e confrontati.