Extending industrial Anomaly Detection with segmentation: a case study on Tyres manufacturing

The ability to detect defects and anomalies in objects is inherently a human capability. The automatic identification, Anomaly Detection (AD), of these rare occurrences, has been the subject of research for many years. Recently, it has seen breakthrough improvements with the integration of Deep Learning (DL) and Convolutional Neural Networks (CNN) technologies. For large-scale industrial manufacturing spotting defective products is part of the quality control process, which is of particular interest to efficiently ensure high-quality production. As the major worldwide consumer tire market producer, Pirelli would get favorable benefits in automating the identification of defective products. This propels our thesis to the implementation of an Anomaly Detection system to the case study of tyres' manufacturing, specifically of treads images having peculiar shapes. We initially identified State of the Art for Anomaly Detection in PatchCore, a pre-trained CNN feature-based method for Industrial image Anomaly Detection. The complex scenario created by tires' images, has required some major development and modification of the PatchCore algorithm. We started from a straightforward usage of a previously trained Instance Segmentation network, MaskRCNN, to segment and localize relevant portions of the tires, and directly apply the algorithm to them. In light of the outcome of a False Positive (FP) predictions analysis, we conceive two problem-oriented extensions. The first, based on input filtering with the segmentation mask, produces samples more representative of the instance than the only box localization. The second is the parallel run of class-wise PatchCore, intended to overcome the poor ability of anomaly detection in concurrence of writings appearing in images. Experiments determined the optimal way to combine the predictions coming from the two parallel models. All these methods use pre-trained networks due to their proven adaptability in various applications. Nevertheless, the objective of this work was also to apply self-learned features to leverage domain-specific representations. Therefore, we designed and implemented a procedure to extract representations of objects from the available MaskRCNN architecture. Ablation studies have validated the method and found the optimal configuration of features. At last, we applied the parallel class-wise PatchCore to this setting too, which demonstrated a significant improvement toward solving the problems highlighted by the FP analysis. In conclusion, we propose a pipeline, which starts from the training of an Instance Segmentation network and gets to the final Anomaly Detection, to provide to PatchCore the ultimate performance boost for this system to be applied in the industry.

L'abilità di rilevare difetti e anomalie in oggetti è una capacita intrinsecamente umana. L'identificazione automatica, Anomaly Detection (AD), di tali rare occorrenze, è soggetto di studio negli ultimi anni di ricerca. Di recente, una svolta rivoluzionaria è stata portata dall'integrazione delle tecnologie Deep Learning e Convolutional Neural Network. Per l'industria manifatturiera di larga scala trovare prodotti difettosi è parte del processo di controllo qualità, che è di particolare interesse per produzione efficienti e di alta qualità. Come maggiore produttore mondiale di gomme per il mercato dei consumatori, Pirelli trarrebbe favorevoli benefici dall'identificazione automatica di prodotti difettosi. Questo spinge la nostra ricerca nell'implementazione di un sistema di Anomaly Detection per una applicazione pratica alla manifattura degli pneumatici, specificatamente su immagini di battistrada, che hanno una dimensione peculiare. Abbiamo inizialmente identificato lo State of the Art di Anomaly Detection in PatchCore, un metodo CNN feature-based per eseguire Industrial Anomaly Detection. Il complesso scenario create dalle immagini degli pneumatici, ha richiesto degli sviluppi e modifiche dell'algoritmo di PatchCore. Abbiamo iniziato dal suo diretto utilizzo, che è di usarlo come localizzazione per costruire un dataset basato su istanze. Alla luce del risultato ottenuto dall'analisi delle predizioni False Positive, abbiamo ideato due estensioni orientate ai problemi osservati. Il primo, basato sul filtrare l'input con la maschera di segmentazione, produce esempi più rappresentativi dell'istanza invece che dell'utilizzo della localizzazione. Il secondo è il lancio parallelo di due PatchCore specializzati per classe, destinato a superare le povere abilità di rilevazione di anomalie in coincidenza di scritte che appaiono sulle immagini. Alcuni esperimenti hanno determinato il modo ottimale per combinare le predizione provenienti da due modelli parallela. Tutti questi metodi usano le reti pre alleante poiché esse hanno provato adattabilità in diverse applicazioni. Ciononostante, un ulteriore obiettivo di questo lavoro è anche di applicare delle feature specifiche del nostro dominion. Dunque, abbiamo progettato e implementato una procedura per estrarre rappresentazioni di oggetti dall'architettura MaskRCNN già disponibile. Abbiamo strutturato due indagini per validare questo metodo e per trovare la configurazione ottima delle features. Per ultimo, abbiamo applicato il modello di PatchCore paralleli per classe anche a questo contesto, che ha dimostrato di esser la nostra soluzione migliore al problema delle scritte. In conclusione, proponiamo una pipeline, che inizia dall'allenamento di una rete di segmentazione e arriva alla rilevazione dei difetti, per dare a PatchCore l'incremento definitivo di performance per l'applicazione di tale sistema nell'industria.