An exploration of guided image-to-image generative adversarial networks in tyres manufacturing industry

Thanks to recent years' proceedings of deep generative models, lots of interest has gathered around the synthetic generation of images. Derived models from Generative Adversarial Networks have proved to be capable of generating real looking samples, often managing to also fool the human eye. A peculiar path of research that led to many impressive works is the so called Image-to-Image translation, which seeks, as the name suggest, to produce fake samples starting from a conditioning input image. Such models successfully performed in tasks like style-transfer, colourisation, super-resolution and domain adaptation. Still, few are the real world useful applications that have been investigated, testing these architectures in such adverse conditions as the ones present in industrial datasets contrary to the academic ones. We have the opportunity to employ such models in a manufacturing context like the one of Pirelli, a world leading customer tyres manufacturer, which aims at automatizing their quality control process by mean of a deep learning anomaly detection pipeline. The addressed goal is to abet the learning of such models by augmenting their industrial dataset through the generation of mock samples. The work attempts to learn the translation from a specific CAD drawing to a synthesized RGB acquisition of the corresponding tyre, employing additional categorical features as to guide the generation of the desired visual elements, which are not encoded in the source domain. Our contribution, other than an interesting analysis on the application of such architecture in an industrial setting, addresses almost little to unexplored directions in the I2I subject area. Firstly, the development of our conditional generative model using a scarce and unbalanced dataset demands the need of applying transfer learning techniques to an I2I model, an uncharted field in the literature. Furthermore, we investigate the possibility of learning a mapping between additional input feature vectors and the latent space of an I2I model to explicitly maneuver the generation towards samples containing the desired characteristics.

Grazie ai numerosi sviluppi nel campo dei modelli generativi, negli ultimi anni è cresciuto considerevolmente l'interesse verso i tentativi di generare sinteticamente immagini realistiche. A partire dai lavori sulle Reti Generative Avversarie, numerosi modelli si sono dimostrati capaci di creare figure molto convincenti, spesso riuscendo anche ad ingannare l'occhio umano. Un particolare campo di ricerca che ha portato allo sviluppo di molti lavori interessanti è quello dell'Image-to-Image translation, che cerca, come suggerisce il nome, di produrre artificialmente delle immagini plausibili a partire da altre prese in input. Modelli del genere hanno avuto grande successo in diversi campi, come style-transfer, colorizzazione di immagini, super-resolution e domain adaptation, ma senza investigare a fondo le loro possibili applicazioni nel mondo reale, poiché spesso vengono addestrati su dataset accademici. Attraverso questo lavoro abbiamo l'opportunità di utilizzare queste reti nel contesto della produzione di pneumatici grazie alla disponibilità dataci da Pirelli, tra i leader mondiali del settore, che punta ad automatizzare il suo processo di controllo qualità tramite l'adozione di tecniche di anomaly detection. Per favorire ciò, è necessario aumentare considerevolmente il numero di acquisizioni a disposizione dell'azienda attraverso la generazione di immagini artefatte. Il nostro lavoro cerca di imparare la "traduzione" da un CAD ad un'acquisizione del corrispondente pneumatico, cercando di guidare la generazione in modo che l'immagine abbia delle desiderate caratteristiche che non sono incluse all'interno del dominio di partenza. Il nostro contributo, oltre ad essere un'interessante analisi sull'applicazione di una tale architettura in un contesto industriale, esplora direzioni quasi mai approfondite nell'ambito dell'I2I. Innanzitutto, lo sviluppo del nostro modello generativo condizionato usando un dataset limitato e sbilanciato richiede l'applicazione di tecniche di transfer learning, il quale risulta essere un campo sostanzialmente insondato in letteratura. Oltre a ciò, indagheremo sulla possibilità di imparare una corrispondenza tra caratteristiche date in input al modello e il suo spazio latente, cercando di manovrare in modo esplicito la generazione di immagini che contengano le caratteristiche desiderate.