Normalizing flows for anomaly detection : an application to industrial manufacturing quality control

Anomaly Detection (AD) of images from the manufacturing industry is a field where Machine Learning is still struggling to be applied. Unlike Object Localization, AD is a process that requires a deep level of knowledge of the analyzed item that is not limited to the visible features but also its construction method. Industrial standards require a low rate of false positives, but the presence of noise is unavoidable, and therefore the results are often unacceptable. Moreover, the datasets available to the public are not representative of the characteristics found in an authentic industrial environment, such as the presence of noise, ambiguous anomalies, and differences between items from the same class. Our goal is to overcome this challenge. We constructed a new dataset from a real industrial environment with the help of Pirelli, a leading tire manufacturer. The Pirelli Logo AD dataset comprises over 3000 samples of logos of tires, each consisting of 3 images taken in different light set up. We considered using Normalizing Flows since they are generative models and possess the ability to model a true posterior distribution. CS-Flow, one of the most advanced NF, was selected to conduct the experiments. We found out that CS-Flow obtains a low performance of 0.6927 AUROC. The successive work consisted in modifying this architecture. We conducted ablation studies on the feature extractor, the number of coupling flows, and the input. Two new multi-image NF architectures were created to study the effects of using the images in different light modes in training together: “Concatenation of features” and “Braid Normalizing Flow”. The best model comprises 16 different independent 2 coupling blocks CS-Flow models, each working on a specific patch of the input image. The feature extractor is reduced to an 8-layer Efficientnet-b0. This new model reaches 0.8533 AUROC.

Il rilevamento di anomalie di immagini provenienti dall’industria manifatturiera è un campo dove il Machine Learning è ancora applicato con difficoltà. A differenza del rilevamento di oggetti, il rilevamento di anomalie è un processo che richiede una profonda conoscenza dell’oggetto che non si limita alle features visibili, ma include anche il suo metodo di costruzione. Gli standard industriali richiedono un basso rateo di falsi positivi, ma la presenza di rumore nelle immagini è inevitabile, e quindi i risultati sono spesso inaccettabili. Inoltre, i dataset disponibili al pubblico non sono rappresentativi delle caratteristiche presenti in un autentico ambiente industriale, come la presenza di rumore, di anomalie ambigue e di differenze tra oggetti della stessa classe. Il nostro obiettivo è di superare questo problema. Abbiamo costruito un nuovo dataset da un vero ambiente industriale con l’aiuto di Pirelli, uno dei più importanti produttori di pneumatici. Il Pirelli Logo AD dataset consiste in oltre 3000 campionamenti di loghi di pneumatici, ognuno consistente in 3 immagini catturate con diverse illuminazioni. Abbiamo considerato di usare i Normalizing Flows perché sono dei modelli generativi e possiedono l’abilità di modellare una vera distribuzione a posteriori. CS-Flow, uno dei più avanzati NF, è stato selezionato per condurre gli esperimenti. Abbiamo scoperto che CS-Flow ottiene una bassa performance di 0.6927 di AUROC. Il lavoro successivo è consistito in modificare questa architettura. Abbiamo condotto studi di ablazione sull’estrattore di feature, sul numero di coupling flows e sull’input. Sono stati creati due nuove architetture di multi-image NF per studiare gli effetti dell’usare immagini di diversa illumiazione insieme nel training: “Concatenation of features” e “Braid Normalizing Flow”. Il miglior modello è una composizione di 16 modelli di CS-Flow indipendenti di 2 coupling blocks. Ogni modello lavora su una specifica patch dell’immagine di input. Il feature extractor è stato ridotto a un Efficientnet-b0 di 8 layer. Il nuovo modello raggiunge 0.8533 di AUROC.