Synthetic data generation for vision transfomer-based segmentation in industrial inspection

This thesis addresses a critical quality control challenge in electric motor manufacturing through the development of an automated vision inspection system for detecting insula tion paper defects in stator coils. Traditional inspection methods, including manual visual inspection and conventional computer vision approaches, face significant limitations when applied to the complex industrial environment characterized by varied lighting conditions, mechanical fixtures, and background interference. The research presents a novel application of Detection Transformer (DETR) architec ture for panoptic segmentation specifically tailored to industrial inspection applications. A comprehensive comparative analysis between DETR ResNet-50 Panoptic and Segment Anything Model v2 (SAM2) revealed that while SAM2 demonstrates superior performance with point prompting, the automation requirements and multi-camera configuration of in dustrial environments favor the development of specialized DETR models. The proposed methodology employs a two-stage process: panoptic segmentation to isolate the stator coil, both compliant and not defective one, from complex backgrounds, followed by image classification applied to the segmented object for defect detection. This approach ad dresses fundamental limitations of existing methods by providing precise object isolation, detailed geometric analysis capabilities, and robustness to background variations. To overcome the challenge of limited real-world data, the research implements a compre hensive synthetic data generation strategy based on 3D modeling and physically-based rendering. This approach leverages the COCO Panoptic format to ensure compatibil ity with established evaluation metrics and pre-trained models, while providing perfect ground truth annotations for training. Theimplementation utilizes the official DETR repository framework with transfer learning from COCO pre-trained weights, balancing the benefits of large-scale pre-training with domain-specific adaptation. The results demonstrate the effectiveness of transformer based architectures in specialized industrial applications, contributing to the advancement of automated quality control systems in manufacturing environments. This work establishes a foundation for broader industrial computer vision applications and demonstrates how advanced deep learning techniques can be effectively adapted for highly specialized manufacturing inspection tasks, offering significant improvements in detection accuracy, operational efficiency, and cost reduction compared to traditional in spection methods.

Questa tesi affronta una sfida critica nel controllo qualità nella produzione di motori elettrici attraverso lo sviluppo di un sistema automatizzato di ispezione visiva per il ril evamento di difetti nella carta isolante dei denti dello statore. I metodi di ispezione tradizionali, inclusa l’ispezione visiva manuale e gli approcci convenzionali di computer vision, presentano limitazioni significative quando applicati all’ambiente industriale com plesso, caratterizzato da condizioni di illuminazione variabili, dispositivi meccanici e in terferenze di sfondo. Laricerca presenta una nuova applicazione dell’architettura Detection Transformer (DETR) per la segmentazione panottica specificamente adattata alle applicazioni di ispezione in dustriale. Un’analisi comparativa approfondita tra DETR ResNet-50 Panoptic e Segment Anything Model v2 (SAM2) ha rivelato che, mentre SAM2 dimostra prestazioni superiori con il prompting puntuale, i requisiti di automazione e la configurazione multi-camera degli ambienti industriali favoriscono lo sviluppo di modelli DETR specializzati. La metodologia proposta utilizza un processo in due fasi: segmentazione panottica per iso lare il dente dello statore da sfondi complessi, seguita da una classificazione dell’immagine applicata all’oggetto segmentato per il rilevamento dei difetti. Questo approccio risolve le limitazioni fondamentali dei metodi esistenti fornendo un’isolamento preciso dell’oggetto, capacità di analisi geometrica dettagliata e robustezza alle variazioni di sfondo. Per superare la sfida della scarsità di dati reali sui difetti, la ricerca implementa una strate gia completa di generazione di dati sintetici basata sulla modellazione 3D e sul rendering f isicamente realistico. Questo approccio sfrutta il formato COCO Panoptic per garantire la compatibilità con metriche di valutazione consolidate e modelli pre-addestrati, offrendo annotazioni di ground truth perfette per l’addestramento. L’implementazione utilizza il framework ufficiale del repository DETR con transfer learn ing da pesi pre-addestrati su COCO, bilanciando i benefici dell’addestramento su larga scala con l’adattamento specifico al dominio. I risultati dimostrano l’efficacia delle ar chitetture transformer in applicazioni industriali specializzate, contribuendo all’avanzamento dei sistemi automatizzati di controllo qualità negli ambienti di produzione. Questo lavoro stabilisce una base per applicazioni più ampie di visione artificiale industriale e dimostra come tecniche avanzate di deep learning possano essere efficace mente adattate a compiti di ispezione altamente specializzati nella manifattura, offrendo miglioramenti significativi in termini di accuratezza del rilevamento, efficienza operativa e riduzione dei costi rispetto ai metodi di ispezione tradizionali.