Improving CNNs feature-based methods for Anomaly Detection : a case study applied to Tyres Manufacturing

Anomaly Detection (AD) consists in identifying elements in a data set that have a behaviour different from all the others, these elements are known as anomalies or outliers. Among the various applications, AD in images of industrial products is particularly interesting for manufacturing companies, which, by automating this process, would reduce the physical effort and consequent errors of quality control operators. For years, methods for AD on industrial images have been based only on Computer Vision (CV) techniques. Recently, the advent of Deep Learning (DL) and Neural Networks (NN) has given rise to approaches with better performance than classical CV methods. The category of Feature-Based methods, exploiting the use of pre-trained NN, is achieving surprising results. In this thesis, we analyze the performance of two Feature-Based methods applied to the Pirelli Logo AD Dataset, a complex dataset comprising images from the tyres' sidewall. The images used are rich in disturbing visual elements, such as stains and dust, which must be ignored by the algorithms and not trigger false reports. Furthermore, we evaluated models' performance on unseen tyre models, testing their applicability in an authentic industrial scenario. We conducted multiple experiments on the dataset and discovered that the first of the two methods is not resilient to visual elements that appear with variability in different areas of the image. On the other hand, the second method showed excellent potential in identifying anomalies but produced many false reports. Moreover, the algorithms fail to classify normal complex visual elements not seen during training, misclassifying unseen tyre models. We concluded the analysis by proposing some methods which could improve the performance of Feature-Based methods; we tried both classification methods and reconstruction as pretext task; among them, fine-tuning the pre-trained networks brought the best results, mitigating the false positives.

L'Anomaly Detection (AD), o rilevamento delle anomalie, consiste nell'identificare gli elementi di un insieme di dati che hanno un comportamento diverso da tutti gli altri, questi elementi sono chiamati anomalie od outliers. Tra le varie applicazioni, l’AD utilizzando immagini di prodotti industriali è particolarmente interessante per le aziende manifatturiere che, automatizzando questo processo, ridurrebbero lo sforzo fisico e i conseguenti errori degli operatori del controllo qualità. I metodi per AD su immagini industriali si sono fondati per anni solo su tecniche di Computer Vision (CV), o visione artificiale. Recentemente, l'avvento del Deep Learning (DL) e delle Reti Neurali (NN) ha dato vita ad approcci con prestazioni migliori rispetto ai classici metodi di CV. La categoria dei metodi Feature-Based, che sfruttano l'utilizzo di NN pre-addestrate, è una di quelle che sta ottenendo i risultati più sorprendenti. In questa tesi, analizziamo le prestazioni di due metodi Feature-Based applicati al Pirelli Logo AD Dataset, un dataset complesso, comprendente immagini raffiguranti una parte del lato di diversi modelli di pneumatici. Le immagini utilizzate sono ricche di elementi visivi disturbanti, come macchie e polvere, che devono essere ignorate dagli algoritmi e non produrre false segnalazioni. Inoltre, abbiamo valutato le prestazioni dei metodi su modelli di pneumatici non visti in fase di training, testando la loro applicabilità in uno scenario industriale autentico. Abbiamo condotto diversi esperimenti sul dataset e abbiamo scoperto che il primo dei due metodi non è resiliente ad elementi visivi che appaiono con variabilità in diverse aree dell'immagine. D'altra parte, il secondo metodo analizzato ha mostrato un’ottima capacità nell'identificazione delle anomalie, a discapito di un alto numero di false segnalazioni. Inoltre, gli algoritmi non riescono a classificare come normali elementi visivi complessi non visti nel set di training, classificandoli erroneamente come anomali. Abbiamo concluso l'analisi proponendo alcuni metodi volti a migliorare le prestazioni dei metodi Feature-Based; abbiamo analizzato metodi di classificazione e la ricostruzione come task pretestuoso; tra questi, il fine-tuning delle reti pre-allenate, effettuato con un task di classificazione, ha portato i risultati migliori, attenuando le false segnalazioni.