Diffusion models for image motion blur removal

Image deblurring is an image restoration technique that aims at recovering the sharp image corresponding to an observation affected by blur. Removal of blur is key in many applications, such as astronomy, microscopy, and digital photography. It has also been shown that deblurring greatly improves the performance of other computer vision systems, such as image recognition, classification, and segmentation. Deep learning models have proven effective in solving many image-to-image translation problems, meaning all those problems where images are both the input and the output of the model. Since image deblurring can be framed as such a problem, different studies in the literature have tried to approach it by deep neural networks. One of the key elements in deep learning is the dataset employed to train the neural network, as performance of the network are heavily influenced by how well the dataset represents the problem. For this purpose, we consider, for the first time in image restoration by deep learning models, a novel image-degradation pipeline to simulate the blur and noise resulting from the camera movement during the exposure process. Moreover, for the first time, we apply diffusion models to the problem of image deblurring. This new class of generative models has shown impressive results in various applications, and is becoming increasingly popular in the deep learning community. We train and test diffusion models on a state-of-the-art deblurring dataset and on our own image-degradation pipeline, to show the potential of the approach on both deblurring and noise suppression.

Il deblurring è una tecnica di restauro delle immagini che mira a recuperare l'immagine nitida da una osservazione affetta da sfocatura. La rimozione della sfocatura è fondamentale in molte applicazioni, come l'astronomia, la microscopia e la fotografia digitale. È stato inoltre dimostrato che il deblurring migliora notevolmente le prestazioni di altri sistemi di computer vision, come il riconoscimento, la classificazione e la segmentazione delle immagini. Il deep learning si è dimostrato efficace nel risolvere molti problemi di traduzione da immagine a immagine, ovvero tutti quei problemi in cui le immagini sono sia input che output del modello. Poiché il deblurring può essere inquadrato come un problema di questo tipo, diversi studi in letteratura hanno cercato di affrontarlo utilizzando reti neurali. Uno degli elementi chiave del deep learning è il dataset utilizzato per addestrare la rete neurale, poiché le prestazioni della rete sono fortemente influenzate dalla capacità del dataset di rappresentare il problema. A questo scopo, per la prima volta nel campo del deblurring di immagini mediante modelli di deep learning, consideriamo una nuova pipeline di degradazione delle immagini per simulare la sfocatura e il rumore risultanti dal movimento della fotocamera durante il processo di esposizione.Inoltre, per la prima volta, introduciamo l'applicazione dei modelli diffusivi al problema del deblurring. Questa nuova classe di modelli generativi ha dimostrato risultati notevoli in diverse applicazioni ed è sempre più diffusa nella comunità del deep learning. Alleniamo e testiamo modelli diffusivi su un dataset stato dell'arte per il deblurring, e su dataset generati dalla nostra pipeline, per mostrare il potenziale di questo approccio sulla rimozione della sfocatura e del rumore.