Tecniche di visione artificiale e realtà aumentata finalizzate all'assistenza di un operatore durante l'attrezzaggio di una macchina utensile

Augmented reality-based systems for purposes of assistance, maintenance and repair, have been developed for military applications as well as for aeronautic and automotive employments. These one have the target to assist the user, by showing him the procedure to follow, the tools to employ and, moreover, by displaying further information about the components to be handled or hints about the safety rules to be accomplished. With this work a system for control-and-support system to assist the final user has been developed. The system is able to verify the logical flow of a certain procedure, by enhancing therefore the role of an "augmented reality based handbook". The system is able to assist, through the augmented reality, the user and to control automatically his actions, and to send him feedbacks on the operations done, by switching autonomously to the next steps till the end of the procedure. A system designed with these characteristics could be employed for training purposes, as a support tool for complex operations like assembling or maintaining a certain machine. This work also implied the development of a dedicated vision system able to detect natural features placed inside the scene, this allows to retrieve a fixed coordinate system for the augmented reality module that can highlight, in real time, the procedure steps flow as well as the components to be handled. Two algorithms for computer vision have been developed, and integrated into the system, able to identify and follow textured and textureless objects. Basing on their outputs, a decision support system has been developed, it judges over the correct execution of the procedure and it adapts the logical flow by displaying to the user the most convenient feedback, in augmented reality. Then, the whole functional architecture of the system has been designed, and its foundamental modules have been implemented in a test-case application as validation of the adopted methods.

Sistemi manualistici di realtà aumentata sono stati sviluppati in ambito militare, aeronautico e dell'automotive. Questi hanno l'obiettivo di aiutare l'operatore mostrandogli la procedura da seguire e gli strumenti da utilizzare, visualizzando inoltre informazioni aggiuntive sui componenti da manipolare o sulle norme di sicurezza da adottare. Nel presente lavoro di tesi è stato sviluppato un sistema di controllo e supporto alle operazioni dell'utente in grado di verificare il flusso logico della procedura potenziando il concetto di sistema manualistico in realtà aumentata. Il sistema è in grado di assistere, tramite realtà aumentata, l'operatore e di controllare automaticamente le azioni compiute dallo stesso, restituendogli un feedback sul passo eseguito ed avanzando in modo automatico fino alla completa esecuzione della procedura da svolgere. Un sistema così realizzato può essere impiegato in fase di training iniziale del personale, per il supporto allo svolgimento di operazioni complesse di assemblaggio e di manutenzione del macchinario. Il lavoro di tesi ha implicato lo sviluppo di un sistema di visione in grado di riconoscere delle features naturali presenti all'interno dell'ambiente, così da garantire un sistema di riferimento per la parte di realtà aumentata che si occupa di evidenziare in tempo reale i passaggi da effettuare ed i componenti da manipolare. Sono stati sviluppati ed integrati nel sistema due algoritmi di visione artificiale in grado di identificare ed inseguire oggetti texturizzati e non. Sulla base dell'output restituito da questi algoritmi, è stato realizzato un sistema di supporto alle decisioni che valuta se un'operazione è stata correttamente eseguita da parte dell'operatore, adatta il flusso logico di conseguenza e visualizza in realtà aumentata l'opportuno feedback all'operatore. E' stata quindi progettata l'architettura completa e funzionale del sistema e sviluppate ed implementate le componenti fondamentali dell'architettura in un'applicazione di validazione dei metodi utilizzati.