On object recognition for industrial augmented reality

Like natural systems, man-made systems evolve to become more complex over time. Some reasons are market pressure, an increase of functionality, and adaptability to an already complex environment, among others. Therefore, workers face fast-changing and challenging tasks along with all the product lifecycle that reach the human cognitive limits. Although nowadays some operations are automated, many of them still need to be carried out by humans because of their complexity. In addition to management strategies and design for X, Industrial Augmented Reality (IAR) has proven to potentially benefit activities such as maintenance, assembly, manufacturing, and repair, among others. It is also supposed to upgrade the manufacturing processes by improving it, simplifying decision-making activities, reducing time and user movements, diminishing errors, and decreasing mental and physical effort. Nevertheless, IAR has not succeeded in breaking out of the laboratories and establishing itself as a strong solution in the industry, mainly because technical and interaction components are far from ideal. Its advance is limited by its enabling technologies. One of its biggest challenges are the methods for understanding the surroundings considering the different domain variables that affect IAR implementations. Thus, inspired by some systematical methodologies proposing that, for any problem-solving activity, it is required to define the characteristics that constrain the problem and the needs to be satisfied, a general frame of IAR was proposed through the identification of Domain Variables (DV), that are relevant characteristics of the industrial process in the previous Augmented Reality (AR) applications. These DV regard the user, parts, environment, and task that have an impact on the technical implementation and user performance and perception. Subsequently, a detailed analysis of the influence of the DV on technical implementations related to the processes intended to understand the surroundings was performed. The results of this analysis suggest that the DV influence the technical process in two ways. The first one is that they define the boundaries in the characteristics of the technology, and the second one is that they cause some issues in the process of understanding the surroundings. Further, an automatic method for creating synthetic datasets using solely the 3D model of the parts was proposed. It is hypothesized that the proposed variables are the main source of visual variations of an object in this context. Thus, the proposed method is derived from physically recreated light-matter interactions of this relevant variables. This method is aimed to create fully labeled datasets for training and testing surrounding understanding algorithms. Finally, the proposed method is evaluated in a study case of object classification of two cases: a particular industrial case, and a general classification problem (using classes of ImageNet). Results suggest that fine-tuning models with the proposed method reach comparable performance (no statistical difference) than models trained with photos. These results validate the proposed method as a viable alternative for training surrounding understanding algorithms applied to industrial cases.

Come i sistemi naturali, i sistemi creati dall'uomo si evolvono per diventare più complessi nel tempo. Alcune ragioni sono la pressione del mercato, un aumento della funzionalità e l'adattabilità a un ambiente già complesso, tra gli altri. Pertanto, i lavoratori devono affrontare compiti in rapida evoluzione e impegnativi insieme a tutto il ciclo di vita del prodotto che raggiunge i limiti cognitivi umani. Sebbene al giorno d'oggi alcune operazioni siano automatizzate, molte di esse devono ancora essere eseguite dagli esseri umani a causa della loro complessità. Oltre alle strategie di gestione e alla progettazione per X, Industrial Augmented Reality (IAR) ha dimostrato di poter potenzialmente beneficiare di attività come la manutenzione, l'assemblaggio, la produzione e la riparazione, tra le altre cose. Si suppone anche che aggiorni i processi di produzione migliorandoli, semplificando le attività decisionali, riducendo i tempi e i movimenti degli utenti, diminuendo gli errori e diminuendo lo sforzo mentale e fisico. Tuttavia, la IAR non è riuscita a uscire dai laboratori e ad affermarsi come una soluzione forte nel settore, soprattutto perché i componenti tecnici e di interazione sono tutt'altro che ideali. Il suo avanzamento è limitato dalle sue tecnologie abilitanti. Una delle maggiori sfide sono i metodi per comprendere l'ambiente considerando le diverse variabili di dominio che influenzano le implementazioni di IAR. Pertanto, ispirato da alcune metodologie sistematiche che propongono che, per qualsiasi attività di problem solving, sia necessario definire le caratteristiche che vincolano il problema e le esigenze da soddisfare, è stata proposta una cornice generale di IAR attraverso l'identificazione delle variabili di dominio (DV ), che sono caratteristiche rilevanti del processo industriale nelle precedenti applicazioni di Augmented Reality (AR). Questi DV riguardano l'utente, le parti, l'ambiente e l'attività che hanno un impatto sull'implementazione tecnica e sulle prestazioni e sulla percezione dell'utente. Successivamente, è stata eseguita un'analisi dettagliata dell'influenza del DV sulle implementazioni tecniche relative ai processi intesi a comprendere l'ambiente circostante. I risultati di questa analisi suggeriscono che il DV influenza il processo tecnico in due modi. Il primo è che definiscono i confini delle caratteristiche della tecnologia, e la seconda è che causano alcuni problemi nel processo di comprensione dell'ambiente circostante. Inoltre, è stato proposto un metodo automatico per creare set di dati sintetici utilizzando esclusivamente il modello 3D delle parti. Si ipotizza che le variabili proposte siano la principale fonte di variazioni visive di un oggetto in questo contesto. Pertanto, il metodo proposto è derivato da interazioni luce-materia ricreate fisicamente di queste variabili rilevanti. Questo metodo ha lo scopo di creare set di dati completamente etichettati per la formazione e la verifica degli algoritmi di comprensione circostanti. Infine, il metodo proposto viene valutato in un caso studio di classificazione di oggetti di due casi: un caso industriale particolare e un problema di classificazione generale (utilizzando classi di ImageNet). I risultati suggeriscono che i modelli di messa a punto con il metodo proposto raggiungono prestazioni comparabili (nessuna differenza statistica) rispetto ai modelli addestrati con le foto. Questi risultati convalidano il metodo proposto come una valida alternativa per addestrare gli algoritmi di comprensione circostanti applicati ai casi industriali.