Monitoring manufacturing systems using AI : a method based on digital factory twin to train CNNs on synthetic data

In recent years the manufacturing sector, following the proposals of Industry 4.0, is evolving towards increased automation, flexibility and digitalisation. Digital Twins and AI are being applied successfully in manufacturing to support decision making, design and control of all factory entities, from single modules to company networks. For several tasks such as monitoring of processes, objects’ tracking, visual inspections and parts’ handling the use of image data is acquiring relevance. Convolutional Neural Networks (CNN) are one of the most promising tools for image analysis, but their training process is computationally heavy and requires a great amount of example data. This work proposes a methodology in which a Digital Factory Twin is leveraged for the creation of synthetic datasets for training a CNN for object detection. A software procedure that automates the generation and pre-processing of synthetic data is proposed and the benefits deriving from its use, in terms of time and effort, have been experimentally proven. A CNN model (YOLOv3) has been trained on synthetic data and tested on real data. Results show that, using exclusively synthetic data for training, it is difficult to achieve a satisfying domain transfer, and that the performance of the proposed system depends strongly on the training dataset. In the future, to aim at a direct (synthetic-real) domain transfer it will be necessary to increase the realism of the Digital Twin representation. To enhance the performances on real data a fast second training phase of the CNN (fine-tuning) is executed on a real dataset of reduced dimensions. It has been proven that in this way it is possible to obtain an trained model that makes correct inferences on real data and that is suitable for industrial applications. Finally, the fine-tuned model is used for tracking pallets within the transport system of a de-manufacturing plant. Results show that it is possible to correctly locate the pallet and determine its state and movements.

In tempi recenti il settore manifatturiero, seguendo le proposte dell’ Industria 4.0, si sta evolvendo verso un aumento dell’automazione, flessibilità e digitalizzazione. I Digital Twins e l’AI sono applicati con successo per il supporto dei processi decisionali, della progettazione e del controllo di tutte le entità dei sistemi di produzione, dai singoli moduli ad i network di imprese. Per diverse task come il monitoraggio dei processi, il tracciamento degli oggetti, ispezioni visive e la manipolazione dei pezzi, l’utilizzo di dati sottoforma di immagini sta acquisendo rilevanza. Le Convolutional Neural Networks (CNN) sono uno degli strumenti più promettenti per l’analisi delle immagini, ma il loro processo di allenamento è computativamente pesante e richiede molti dati. Questo lavoro propone una metodologia in cui un Digital Factory Twin è sfruttato per la creazione di un dataset sintetico di immagini per l’allenamento di una CNN per la detezione degli oggetti. Una procedura software per automatizzare la creazione ed il processamento dei dati sintetici viene proposta ed i benefici ottenibili tramite il suo utilizzo, in termini di tempo e impegno richiesto, sono sperimentalmente dimostrati. Il modello CNN addestrato su dati sintetici è stato testato su dati reali. I risultati mostrano come, usando esclusivamente dati sintetici, è difficile ottenere risultati soddisfacenti e che i risultati dipendono fortemente dal dataset usato per l’addestramento. In futuro, per ambire ad un ‘domain transfer’ diretto (sintetico-reale) sarà necessario aumentare il grado di realismo del Digita Twin. Per migliorare le performance sui dati reali una rapida seconda fase di training (fine-tuning) è stata eseguita su un piccolo dataset composto da immagini reali. E’ stato provato che in questo modo il modello allenato riesce a fare inferenze corrette su dati reali ed è quindi applicabile nell’industria. Infine, questo modello è usato per il tracciamento di pallet in un sistema di trasporto di un impianto di de-manufacturing. I risultati mostrano che il pallet viene localizzato correttamente e che i suoi movimenti ed il suo stato possono essere stabiliti.