Single and multi view 3D RGB hand pose estimation for manual manufacturing operations: testing and assessment of solution stacks

3D pose estimation methods are innovative techniques designed to determine body parts’ spatial positions and orientations by utilizing diverse data streams. Within this realm, markerless methods stand out, as they can accomplish the estimation task without depending on physical sensors other than RGB cameras. Notably, there is a growing interest, and consequent development, in hand pose estimation techniques due to the valuable information their gestures can offer to computer interfaces. This trend highlights the increasing feasibility of extracting reliable data about hand pose and location in a non-intrusive and cost-effective manner. This thesis aims to assess the potential implementation of 3D RGB hand pose estimation technologies for the monitoring of manual operators in the industrial environment. This work will first present the most promising methods available for performing hand pose estimation, then will propose, test, and evaluate single-view and multi-view technological stacks suitable for industrial implementation. Tests of such stacks have been extensively conducted on multi-view annotated datasets present in the literature. However, due to their inability to provide a holistic view of manual manufacturing processes, tests have also been conducted on videos of manual operations recorded in a simulated industrial environment at the Polimi facilities. These activities contributed to a comprehensive understanding of the capabilities and limitations of the proposed stacks, providing in this way an assessment of the actual application of 3D RGB hand pose estimation towards manual manufacturing operations.

I metodi di stima della posa tridimensionale sono tecniche innovative progettate per determinare posizioni spaziali e orientamenti di varie parti del corpo utilizzando dati di diversa natura. In questo ambito sono di rilievo i metodi "markerless", in grado di svolgere la stima della posa senza dipendere da alcun tipo di sensore fisico ed esclusivamente tramite l’uso di fotocamere RGB. In particolare, vi è un crescente interesse, e conseguente sviluppo, per le tecniche di stima della posa delle mani, principalmente spinto dalle chiare indicazioni che i loro gesti possono fornire alle interfacce informatiche. Questa tendenza evidenzia la crescente fattibilità dell’estrazione di dati affidabili su posa e posizione delle mani in modo non invasivo ed economicamente vantaggioso. Questa tesi mira a valutare la potenziale implementazione di tecnologie di stima tridimensionale della posa delle mani da video per il monitoraggio di operatori manuali in ambienti industriali. Questo lavoro presenterà innanzitutto i metodi più promettenti per eseguire la stima della posa, quindi proporrà, testerà e valuterà stack tecnologici a vista singola e a vista multipla ritenuti adatti all’implementazione industriale. I test sono stati condotti su dataset annotati a vista multipla presenti in letteratura, ma, a causa della loro incapacità di fornire una visione olistica dei processi produttivi manuali, i test sono stati condotti anche su video di operazioni manuali registrati in un ambiente industriale simulato presso il Polimi. Queste attività hanno contribuito a una ampia comprensione degli stack proposti, fornendo in tal modo una valutazione della fattibilità di applicazione di tecnologie di stima della posa tridimensionale delle mani per il monitoraggio di operazioni manuali in contesti industriali.