Progettazione e sviluppo di un sistema programmabile di visione artificiale e di realtà aumentata a controllo e supporto di procedure di manipolazione pianificate

The focus of this work is to present the design, implementation and testing of a prototype to support the trained personnel applying maintenance and assembly operations in the industrial domain. Computer Vision algorithms and Augmented Reality techniques have been integrated to support and control the user conducting manual task. The system developed is made up of a webcam and a display. It is able to automatically verify and adjust the logical flow of the process by controlling the user’s actions, to send him feedbacks on the operations done, by showing instructions, suggestions and corrections on the display, till the end of the monitored procedure. It has been developed a dedicated vision system able to detect and track in real time 3D objects, to recognize shapes and colors, to analyze the scene and find out useful information for the decision support module. This work has also implied the development of a markerless vision-based tracking system which, by detecting natural features inside the scene, allows to retrieve a global spatial reference system for the augmented reality real-time functionalities that can increase the human-computer interaction by highlighting components to handle or by rendering useful text instructions or 3D models. The system can be easily programmed by a proper application, which manages the operating rules to follow, the data to process and the actions to be done. Another application is used to read and execute the programmed process flow in real-time during the user’s work. The vision system returns all the information needed to assess the user’s execution of the current task. The graphic user interface displays the most appropriate feedback in augmented reality. Then, three test cases have been carried out as validation of the whole system, by focusing on the developed techniques and the programming flexibility.

Nel presente lavoro di tesi è stato progettato e realizzato un sistema che si inserisce fra gli strumenti a supporto del personale addetto ad operazioni manuali di manutenzione o di assemblaggio, tipicamente in ambito industriale. E’ stato realizzato un sistema che integra tecniche di Visione Artificiale e di Realtà Aumentata per controllare, guidare e supportare un operatore durante l’espletamento di operazioni manuali. Il sistema, tramite una webcam ed un dispositivo di visualizzazione, valuta in tempo reale la correttezza delle azioni eseguite, visualizza istruzioni, suggerimenti, correzioni ed informazioni visive aggiuntive, avanzando in modo automatico nel flusso logico del processo fino alla completa esecuzione della procedura da svolgere. In particolare è stato necessario sviluppare algoritmi affidabili per identificare ed inseguire oggetti tridimensionali, per riconoscere particolari forme e colori e per analizzare lo stato dell’ambiente di lavoro allo scopo di estrarre informazioni utili, con la particolarità avanzata di rinunciare all’uso di marker precostituiti e di adottare marker naturali per tracciare la posizione della webcam nello spazio e per usufruire correttamente delle funzionalità di Realtà Aumentata che permettono di migliorare l’interazione con l’utente attraverso l’indicazione degli oggetti da usare o delle parti su cui agire grazie all’inserimento di modelli tridimensionali nel video ripreso in tempo reale. Un’apposita applicazione gestisce la programmazione delle regole di funzionamento del sistema di visione e la determinazione dei parametri delle operazioni di computer vision da eseguire, i dati da analizzare e le azioni da intraprendere. Una seconda applicazione si occupa, invece, della lettura di tali regole per il controllo del flusso logico del processo nel loro impiego sul campo. Il sistema di visione, opportunamente interrogato, restituisce le informazioni necessarie alla valutazione dell’esecuzione corrente. L’impiego dell’interfaccia grafica in Realtà Aumentata consente la comunicazione con l’utente. Sono stati infine realizzati alcuni casi applicativi per la validazione delle funzionalità sviluppate e della flessibilità di programmazione del sistema.