Deep neural models for single line diagram recognition

Image analysis is a main topic of interest in the industrial and automation sector. Extracting information and knowledge from images in a manner similar to humans is paramount to make processes more efficient. Moreover industries are looking for ways to generate value from the data they produce during their operations. One of the main player in the automation and electrical system sector is ABB SACE. The company commissioned this study and provided the specifications and the data on which we worked upon, moreover they provided domain knowledge on the topic of industrial electrical systems. One of the crossroads of these two needs, is the field of machine learning applied to computer vision. In this work we used mainly, but not only, a class of machine learning models called deep neural networks to analyze a special kind of images that describe electrical systems, i.e., Single Line Diagrams. The main objective of this study is to ascertain that is feasible to create an automatic system that could extract information about which components are present and how they are connected in these diagrams. We explored two different approaches. The first one uses the YOLO detection network to localize and identify modules and uses the Line Segment Detector to identify connections. Whereas the second one is based on SegNet, a semantic segmentation network, and an image classification network, i.e., ModuLeNet. Deep neural networks require great quantities of data to learn to recognize objects contained in images. Since we faced the issue of lack of labeled data during our study, we also developed algorithms to enhance the data at our disposal, collecting two datasets. We used these datasets to train the models and to highlight the strengths and weaknesses of the proposed solutions. We concluded that a hybrid approach that exploits the benefits of both approaches could further improve our results. As a proof of concept we also implemented a web application making use of the YOLO-based system that can be used to process Single Line Diagrams and retrieve their structure in a standardized description format.

Uno dei principali argomenti di interesse nel settore industriale e l'analisi automatica di immagini. Estrarre informazioni e conoscenza dalle immagini in modo simile a come fanno gli umani è fondamentale per rendere i processi più efficienti. Inoltre l'industria è in cerca di metodi per generare valore dai dati che vengono prodotti durante le normali operazioni. Uno delle prinicpali aziende nel settore dell'automazione e della produzione di sistemi elettrici è ABB SACE. L'azienda ha commissionato questo studio e ha fornito i dati su cui abbiamo lavorato e la conoscenza di dominio nel campo dei sistemi elettrici. L'incrocio di questi due bisogni è il campo dell'apprendimento automatico applicato alla visione artificiale. In questo lavoro abbiamo usato principalmente, ma non solo, una categoria di modelli di apprendimento automatico chiamati reti neurali profonde per analizzare un tipo speciali di immagini che descrivono sistemi elettrici detti Single Line Diagrams. L'obbiettivo principale di questo studio è di accertare la fattibilità di un sistema automatico che possa estrarre informazioni su quali componenti siano presenti e come essi siano connessi all'interno di questi diagrammi. Abbiamo esplorato due approcci differenti: il primo usa la rete YOLO per localizzare e identificare i moduli e usa l'algoritmo Line Segment Detector per identificare le connessioni. Il secondo, invece, è basato su SegNet, un rete per la segmentazione semantica, e su una rete per la classificazione di immagini, chiamata ModuLeNet. Le reti neurali profonde richiedono una grande quantità di dati per imparare a riconoscere gli oggetti rappresentati nelle immagini. Poichè abbiamo avuto dei problemi dovuti alla mancanza di dati etichettati durante il nostro studio, abbiamo anche dovuto elaborare degli algoritmi per moltiplicare i dati a nostra disposizione creando due datasets. Abbiamo isato questi datasets per addestrare i nostri modelli e per evidenziare le forze e le debolezze delle soluzioni proposte. Abbiamo infine concluso che un approccio ibrido che sfrutti al meglio i benefici di entrambi gli approcci potrebbe migliorare ulteriormente i nostri risultati. Come proof of concept abbiamo inoltre implementato una applicazione web che fa uso del sistema basato su YOLO che può processare i Single Line Diagrams e mostrare la loro struttura in un formato standardizzato.