Al-based quality inspection of metal components exploiting multi-lights image fusion strategies

This thesis proposes an AI-based framework for the quality inspection of metal components, specifically addressing challenges posed by reflective surfaces and heavily imbalanced datasets where defects are underrepresented. The aim is to develop acquisition and analysis strategies that maximize available information, enabling effective artificial intelligence models for defect identification in real industrial applications. From the image acquisition perspective, a method inspired by “photometric stereo” vision systems is proposed. Multiple images of the object are captured under different illumination conditions, each designed to highlight specific defects. These images are then fused into a single multidimensional dataset by stacking them along the channel dimension. This fusion allows neural networks to identify relationships between pixels across different lighting conditions at the earliest stage of analysis. For the algorithmic approach, semantic segmentation is implemented using a U-Net neural network architecture. Semantic segmentation was chosen over classification or object detection due to its ability to provide detailed information about the defects, including type, morphology, shape, and size. To address the challenges of training with a limited and heavily imbalanced dataset, two methods (Loss Functions Designed for Imbalanced Data and Class-Specific Weights) are employed and tested on two case studies: the first is the quality inspection of raw sheet metal and the second is the identification of defects in conical knurled washers. The effect of illumination setups, class weight configurations, loss functions, learning rates, and model sizes is studied using factorial Design of Experiments techniques. Results demonstrate that multi-channel lighting configurations and the application of class-specific weights significantly improve the model's ability to detect and segment defects, achieving higher Dice scores compared to single-channel approaches. The use of specialized loss functions further enhances sensitivity to underrepresented classes, confirming the effectiveness of the proposed strategies.

Questa tesi propone un sistema basato sull'intelligenza artificiale per il controllo qualità di componenti metallici, affrontando in particolare le sfide poste da superfici riflettenti e da dataset ridotti e fortemente sbilanciati, in cui i difetti sono sottorappresentati. L'obiettivo è sviluppare strategie di acquisizione e analisi che massimizzino le informazioni disponibili, consentendo ai modelli di intelligenza artificiale di identificare le non conformità in reali applicazioni industrial. Dal punto di vista dell'acquisizione, viene proposta una metodologia ispirata ai sistemi di visione "stereo-fotometriche". Vengono catturate più immagini dell'oggetto sotto diverse condizioni di illuminazione, ognuna progettata per evidenziare specifici difetti. Queste immagini sono poi fuse in un singolo dataset multidimensionale, impilandole lungo la dimensione del canale. Questa fusione consente alle reti neurali di identificare le relazioni tra i pixel in diverse condizioni di illuminazione sin dalla fase iniziale dell'analisi. Per quanto riguarda l'approccio algoritmico, viene implementata una strategia di segmentazione semantica utilizzando un'architettura di tipo U-Net. La segmentazione semantica è stata preferita alla classificazione o all’object detection per la sua capacità di fornire informazioni dettagliate sui difetti, come tipo, morfologia, forma e dimensione. Per affrontare le difficoltà di addestramento con un dataset limitato e fortemente sbilanciato, vengono utilizzati e testati due accorgimenti (loss function progettate per dataset sbilanciati e pesi specifici per classe) su due casi di studio: il primo riguarda l'ispezione della lamiera grezza e il secondo l'identificazione di difetti in rondelle zigrinate coniche. L'effetto delle configurazioni di illuminazione, dei pesi associati alle classi, delle funzioni di costo, dei tassi di apprendimento e delle dimensioni del modello viene studiato utilizzando tecniche della progettazione fattoriale degli esperimenti (Factorial Design of Experiments). I risultati dimostrano che le configurazioni di illuminazione multicanale e l'applicazione di pesi specifici per classe migliorano significativamente la capacità del modello di rilevare e segmentare i difetti, ottenendo prestazioni (Dice score) più alte rispetto agli approcci monocanale o RGB. L'uso di funzioni di perdita specializzate aumenta ulteriormente la sensibilità verso le classi sottorappresentate, confermando l'efficacia delle strategie proposte.