An exploitation of deep learning inpainting techniques for tyres anomaly detection

To date, once a product is completed in the manufacturing field, it needs to be inspected by a trained operator to verify the quality company's quality constraints. The opportunity to automate the quality control process through deep learning and computer vision has been increasing over the years These techniques arouse many companies' interest in the manufacturing field since they allow quality control to be carried out automatically, eliminating, or reducing, possible human errors. Pirelli, the Italian company, is among the most affirmed industrial realities in developing these techniques. As a leading tire manufacturer, Pirelli developed a strong interest in the automatic approach, specifically for tyres, during the last years. From Pirelli's analysis, the inherent criticism about traditional computer vision applied to the detection of visual anomalies showed up. Hence, in the last years, researches have been conducted on the aforementioned theme and, with this work, the topic is deeply addressed. The analysis underlying this scientific work was conducted using mainly deep learning algorithms based on reconstruction (reconstruction-based methods), introducing new inpainting masks, i.e., the deletion of image areas and the use of different training methodologies. Alongside this, we conducted an ablation study on the architectures and the training losses. The reconstruction-based approach was then flanked and compared with the new methodologies based on the features extracted from deep learning models, in particular, Padim. Our research showed the weaknesses of such approaches applied to anomaly detection over tyres. This work showed that the best performing architecture is a convolutional autoencoder with a latent space of the shape 256x16x16 using chess inpainting masks covering about half of the input image. We hope that in the future, the analysis would be extensive also on feature-based methodologies since the current knowledge on this research field, as presented in this thesis, allowed to reach performing results only using reconstruction-based methods.

Nel settore manifatturiero, ad oggi, una volta ultimato il prodotto, questo deve essere controllato da personale qualificato così da verificare l’ottemperanza agli standard qualitativi dell’azienda. Con il passare degli anni, si è rappresentata l’opportunità di automatizzare il processo di controllo qualità attraverso tecniche di deep learning e computer vision. Queste tecniche suscitano l’interesse di molte industrie nel settore manifatturiero, dal momento che consentirebbero di effettuare il controllo qualità in modalità automatica, eliminando, o comunque riducendo, i possibili errori. Tra le realtà industriali più affermate nello sviluppo di queste tecniche c’è l’azienda italiana Pirelli. Quale primaria produttrice di pneumatici, ha sviluppato negli anni un forte interesse ad approcci di automazione, specificamente studiati per gli pneumatici. Le analisi condotte da Pirelli hanno fatto emergere le difficoltà insite negli approcci tradizionali di computer vision applicati al rilevamento di anomalie legate a difetti visivi. Negli ultimi anni sono quindi state condotte diverse ricerche sul tema e, con il presente elaborato, la problematica viene ulteriormente approfondita. L’analisi sottesa al presente elaborato scientifico è stata condotta utilizzando principalmente una metodologia di algoritmi di deeplearning basati sulla ricostruzione (reconstruction-based methods), introducendo nuove maschere di inpainting, ovvero la cancellazione dei parti dell'immagine al fine di rafforzare il processo di apprendimento, ed utilizzando diverse metodologie di addestramento. Accanto a questa analisi, uno studio di ablazione sulle architetture e sulle funzioni di costo è stato affrontato. La metodologia reconstruction-based è stata poi affiancata e confrontata alle nuove metodologie basate sulle caratteristiche estratte tramite modelli di deep learning delle immagini tra cui, in particolare, Padim. Il lavoro ha mostrato la debolezza di queste nuove metodologie applicate al rilevamento di anomalie legate a difetti visivi sugli pneumatici. L’analisi condotta nel presente elaborato ha mostrato che l’architettura più performante è un autoencoder convolutivo con uno spazio latente di dimensione 256x16x16 usando maschere di inpainting a forma di scacchiera che coprono circa la metà dell’immagine in ingresso. Si auspica che in futuro l’analisi possa essere approfondita anche per le metodologie basate sulle caratteristiche, in quanto l’attuale stato delle conoscenze e della ricerca, così come rilevato in questo elaborato, ha consentito di raggiungere risultati performanti soltanto con il metodo basato sulla ricostruzione.