Pixelwise anomaly detection exploiting steerable filters based methods

In the last few years, automatic detection of anomalies in images has become very popular in the industrial quality control, where the goal is to check the presence of unexpected defects in final products. In this thesis, we address the problem of the automatic pixelwise identification and segmentation of anomalies in textured images. In this scenario, abnormal areas can be visually identified because they highly deviate in terms of intensity, structure and contrast from the rest of the image, which follows a specific periodic pattern. We propose two different approaches to tackle the aforementioned problem. Both are based on Semi-Supervised Machine Learning techniques trained only with normal patches, i.e., portions of images which do not contain anomalies. The idea is to learn the pattern of normal textures and deem as abnormal the patches that are not alike. The first method uses the Structural Texture Similarity (STSIM), an algorithm based on the Steerable filters, to extract the features which belong to the normal set. Then, we learn a density model that characterizes these features, and finally we classify each test patch calculating the probability of belonging to the same distribution. The second solution exploits a Deep Learning model called autoencoder to learn how to extract normal features. In this case, the model learns how to compress the input data in a small set of features, called latent representation. The autoencoder is then trained to reconstruct the compressed features to be as similar as possible to the input data. In this scenario, we propose to use the Complex Wavelet Structural Similarity (CW-SSIM) as loss function. CW-SSIM is a similarity metrics based on the Steerable filters, which in our case it is deployed to assess the similarity between the input and the reconstructed patch during the training. The rationale is that the model is trained to reconstruct only normal textures and should fail to do so for anomalous regions. We finally reconstruct each test image using the trained autoencoder, and we label as anomalies the portions of reconstructed image which present high visual dissimilarity from the original one. We propose again to use CW-SSIM as anomaly metrics to automatically identify the differences between these two images. This thesis provides the theoretical and practical basics behind the two Anomaly Detection solutions proposed, which introduce the concept of Steerable filters in this environment, exploring two completely different approaches. In the last, we compare the performance achieved by our solutions with the State of the Art techniques on a challenging real-world images dataset of nanofibrous materials, acquired by an electronic microscope. In particular, the method based on CW-SSIM achieves significant performance gains in pixelwise defect identification.

Negli ultimi anni, il riconoscimento automatico di anomalie all'interno di immagini digitali è divenuto un elemento critico in molte attività industriali, al fine di controllare la qualità dei prodotti finiti. In questa tesi, affronteremo il problema dell'identificazione e segmetnazione puntuale di anomalie all'interno di immagini di tipo texture. In questo ambiente, le aree anomale sono distinguibili in quanto differenti in termini di intensità, struttura e contrasto dal resto dell'immagine, il quale segue uno schema specifico e periodico. Al fine di affrontare questo problema, nel seguente elaborato proponiamo due approcci sostanzialmente differenti. Entrambi sono basati su tecniche di Semi-Supervised Machine Learning, le quali vengono addestrate unicamente con porzioni di immagini che non contengono anomalie. L'idea generale su cui si basano queste tecniche è far imparare alla macchina lo schema periodico delle porzioni di immagini normali e successivamente, evidenziare le aree che maggiormente deviano da esso. Il primo metodo proposto usa Structural Texture Similarity (STSIM), algoritmo basato sugli Steerable filters, per estrarre dalle porzioni di immagini normali le caratteristiche che le contraddistinguono. Successivamente viene appreso il loro modello di densità e infine ogni porzione di test viene classificata in base alla probabilità di appartenere alla medesima distribuzione. Il secondo metodo è basato sull'uso di autoencoder, un modello di Deep Learning che impara come estrarre le caratteristiche delle porzioni normali. In questo caso, il modello impara a comprimere i dati in input in un ridotto set di caratteristiche, chiamato in gergo tecnico rappresentazione latente. L'autoencoder viene quindi allenato a ricostruire le caratteristiche compresse, generando un output il più somigliante possibile all'input. In questo scenario, proponiamo l'utilizzo di Complex Wavelet Structural Similarity (CW-SSIM) come loss function. CW-SSIM è una metrica che quantifica la similarità fra due immagini basata sull'uso degli Steerable filters, che nel nostro caso viene usata per stimare la somiglianza tra l'immagine in input e quella ricostruita durante la fase di addestramento del modello. Visto che durante questa fase il modello apprende le caratteristiche unicamente delle immagini normali, è possibile presuppore che esso sia incapace di ricostruire le anomalie. Infine, ogni immagine di test viene ricostruita utilizzando l'autoencoder precedentemente allenato e vengono etichettate come anomalie le porzioni dell'immagine ricostruita che presentato una grossa dissimilarità rispetto alla loro versione originale. Proponiamo ancora l'uso di CW-SSIM come metrica per identificare automaticamente le differenze tra queste due immagini. Nel seguente elaborato, vengono presentati i concetti teorici e pratici su cui sono basate le due tecniche di riconoscimento delle anomalie proposte, le quali introducono il concetto di Steerable filters seguendo due differenti approcci. Nella sezione finale della tesi, mettiamo a confronto le performance delle nostre soluzioni con quelle già presenti in letteratura utilizzando un dataset di immagini sulle nanofibre, acquisite con un microscopio elettronico. In particolare, il metodo basato su CW-SSIM raggiunge un significativo incremento di prestazioni nell'identificazione puntuale dei difetti.