Enhancing DDRM for addressing variable Gaussian noise in image restoration

The removal of noise from images is a crucial problem in image processing and, currently, the most effective denoising techniques are based on deep neural networks. In particular, Denoising Diffusion Probabilistic Models (DDPMs) are one of the most promising gener- ative models in such context. An application of DDPMs in the field of image restoration is represented by the Denoising Diffusion Restoration Models (DDRMs). A DDRM is a linear inverse problem solver that can perform image restoration tasks such as denoising, deblurring, super-resolution, inpainting and colorization using pre-trained DDPMs, when the degradation is only known at inference time. However, these models can only remove homogeneously distributed additive Gaussian noise and, if provided with an input image corrupted by various Gaussian noises with different variances in different areas of the im- age, they produce oversmoothed or softened results. In this thesis, we demonstrate that it is possible to extend DDRMs capabilities to perform denoising on images that exhibit significant differences in terms of noise variance within them, thereby preserving details more effectively at the end of the denoising process. The solution provided by this thesis consists in two phases. First, a noise map is estimated from the noisy observation of the image and then, this map is used to condition the DDRM to perform denoising, without the need for retraining the model or iterating multiple times through the algorithm. In particular, a wavelet-based noise estimator is applied in a patch-wise approach to detect the variance changes across the image. The noise map so generated is used to determine, on a pixel-by-pixel basis, the steps in which a certain area of the image should condition the diffusion model and the steps in which it should not. We have thus tested our model on the same datasets used in the original DDRM paper and verified that it is able to preserve details more effectively, achieving significant improvements in terms of denoising quality. In addiction, we have demonstrated that our model is capable of addressing blind denoising problems, without needing to know a priori the distribution of the noise within the image or its variance.

La rimozione di rumore dalle immagini è un problema di grande interesse nel campo dell’image processing e attualmente, le tecniche di denoising risultate più efficaci sono quelle basate su deep neural networks. In particolare, i Denoising Diffusion Probabilis- tic Models (DDPM) sono uno dei modelli generativi più promettenti in questo contesto. Un’applicazione dei DDPM nel campo dell’image restoration è rappresentata dai Denois- ing Diffusion Restoration Models (DDRM). Un DDRM è un risolutore di problemi lineari inversi che può eseguire operazioni di image restoration utilizzando DDPM pre-addestrati in casi in cui la degradazione è nota solo ad inference time. Tuttavia, questi modelli pos- sono rimuovere esclusivamente rumore Gaussiano distribuito omogenamente e se gli viene fornita un’immagine corrotta da più rumori Gaussiani con varianze diverse, producono risultati smussati. In questa tesi, dimostriamo che è possibile estendere i DDRM per effettuare il denoising di immagini che presentano una significante differenza in termini di varianza del rumore al loro interno, preservando quindi maggiormente i dettagli al termine del processo di denoising. La soluzione fornita da questa tesi si compone di due fasi princi- pali. Viene prima stimata una mappa del rumore basandosi unicamente sull’osservazione dell’immagine rumorosa e poi questa mappa viene utilizzata per condizionare i DDRM ed effettuare il denoising vero e proprio, senza la necessità di ri-effettuare il training del modello o di eseguire più volte l’algoritmo. In particolare, per determinare i cambi di varianza all’interno dell’immagine, utilizziamo uno stimatore wavelet-based applicato sull’immagine con un approccio patch-wise. La mappa così generata è quindi utilizzata per stabilire pixel-per-pixel gli step in cui una certa area dell’immagine deve essere us- ata come condizionamento. Abbiamo quindi testato il nostro modello sugli stessi dataset usati nel paper originale sui DDRM e verificato che è in grado di preservare i dettagli con una maggior precisione, ottenendo significativi miglioramenti in termini di qualità del denoising. In aggiunta, abbiamo dimostrato che il nostro modello è in grado di affrontare problemi di denoising in cui la varianza del rumore non è nota a priori.