Cross-geometry transfer learning in additive manufacturing using conditional adversarial networks for synthetic image generation

Additive Manufacturing (AM) enables fast, flexible, tool-free production in sectors such as aerospace, automotive, and medicine, but large-scale adoption is limited by quality issues that demand costly post-process inspection. In-situ monitoring for process control and defect detection is therefore pivotal to reduce quality cost. In recent years, Deep Learning models for image-based quality inspection have been demonstrated in AM. However, training such models requires appropriate and abundant data. In this regard, Transfer Learning (TL) addresses data scarcity by reusing knowledge from a source to a target domain with limited available data. In TL applications, Generative Adversarial Networks (GANs) can generate synthetic images to augment training data, addressing limited variability, mitigating domain shifts, and improving model generalization for detecting rare defects. However, existing generative TL approaches in AM mainly focus on generating plausible images with tailored local defects or with a different style in respect to the original ones to mimic different process conditions; control over printed parts’ geometry in synthetic images generation was not explored in literature. This thesis introduces a cross-geometry TL framework based on a Pix2Pix conditional GAN that generates synthetic layer-wise images of new geometries to enhance a U-net semantic segmentation model. The case study considers a Two-Photon-Polymerization process with distinct source and target geometries. The framework is evaluated in two scenarios: improving a baseline U-net on unseen geometries through data augmentation and training the U-net to segment specific geometric deviations. Compared to a U-net trained only on real source data, the proposed approach increases the Dice coefficient on the target domain from 0.75 to about 0.87 and reduces MSE and RMSE by roughly 50% and 27%. In the defect-focused scenario, adding synthetic overprinting examples reduces MAE, MSE, and RMSE by more than 75% on segmenting the targeted defect. The thesis also outlines the managerial implications of implementing the framework, such us reducing both explicit and implicit quality-related costs.

L’Additive Manufacturing consente una produzione rapida, flessibile e senza attrezzature in settori quali aerospazio, automotive e medicale, ma la sua adozione su larga scala è limitata da problematiche di qualità che richiedono costose ispezioni post-processo. Il monitoraggio in-situ per il controllo di processo e la rilevazione dei difetti è quindi fondamentale per ridurre i costi di qualità. Negli ultimi anni, in ambito AM sono stati sviluppati modelli di Deep Learning per l’ispezione di qualità basata su immagini. Tuttavia, l’addestramento di tali modelli richiede dati adeguati e abbondanti. In questo contesto, il Transfer Learning (TL) affronta la scarsità di dati riutilizzando conoscenza da un dominio sorgente a un dominio target con disponibilità limitata di dati. Nelle applicazioni di TL, le Generative Adversarial Networks (GAN) possono generare immagini sintetiche per aumentare i dati di training, affrontando la limitata variabilità, mitigando gli shift di dominio e migliorando la capacità di generalizzazione del modello nel rilevare difetti. Tuttavia, gli approcci di TL generativo esistenti in AM si concentrano principalmente sulla generazione di immagini plausibili con difetti locali mirati o con uno stile diverso rispetto alle immagini originali, per imitare differenti condizioni di processo; il controllo sulla geometria dei pezzi stampati nella generazione di immagini sintetiche non è stato esplorato in letteratura. Questa tesi introduce un framework di TL cross-geometry basato su una conditional GAN di tipo Pix2Pix che genera immagini sintetiche layer-wise di nuove geometrie per potenziare un modello U-net di semantic segmentation. Il caso di studio considera un processo di Two-Photon Polymerization con geometrie sorgente e target distinte. Il framework è valutato in due scenari: il miglioramento, tramite data augmentation, di una U-net baseline su geometrie non viste e l’addestramento della U-net a segmentare specifiche deviazioni geometriche. Rispetto a una U-net addestrata unicamente su dati reali del dominio sorgente, l’approccio proposto aumenta il coefficiente di Dice sul dominio target da 0,75 a circa 0,87 e riduce MSE e RMSE di circa il 50% e il 27%. Nel secondo scenario, l’aggiunta di esempi sintetici di overprinting riduce MAE, MSE e RMSE di oltre il 75% nella segmentazione del difetto considerato. La tesi discute infine le implicazioni manageriali derivanti dall’implementazione del framework, come la riduzione di costi espliciti ed impliciti legati alla qualità.