Teleoperation of an underactuated bionic hand : comparison between wearable and vision-based motion tracking methods

Service robots often have to face dynamic and unstructured environments, which make sensorial information less reliable and autonomous decision-making harder. Teleoperation and the use of bio-inspired components, like bionic hands, can grant effective interactions with irregular environments. Bionic hands can be intuitively controlled by capturing the human operator's hand motion and mapping it to the bionic hand. The hand motion capture technologies mainly used in teleoperation are sensorized mechanical gloves and vision-based tracking devices. In general, while the former proved to be more stable and robust, the latter allow more natural movements and grant higher user comfort. Although the characteristics of the two different approaches are clear, literature lacks robust comparative studies between them when applied to teleoperation, as a basis to select the most appropriate method. Given such premises, the objective of this work was to design two teleoperation systems to intuitively control the same bionic hand, using a glove-based method and vision-based technique, respectively, and compare them in terms of teleoperation accuracy and usability and user experience. First, the bionic hand inverse kinematics was modeled. Then, the two tracking systems were configured to retrieve human motion parameters suitable to control the bionic hand. Thus, an actuation stage to control the bionic hand motors, based on inverse kinematics, was developed. Lastly, the obtained teleoperation systems were compared through an accuracy experiment and a usability grasping test performed by several users. Both the developed systems proved to be exploitable in both powered and precise grasp tasks. Nevertheless, the vision-based technique showed lower accuracy, which may influence the grasping performance and is attributable to the limited accuracy of the vision camera device, thus, further research is needed to develop more robust algorithms for image-based hand pose estimation. The user study also underlined that the glove-based method brings a higher effort by the user. Therefore, the glove design must be improved taking user comfort into account.

I robot di servizio devono spesso affrontare la gestione di ambienti dinamici e non-strutturati, che rendono le loro informazioni sensoriali meno affidabili, quindi i processi decisionali da essi affrontati più complessi. La teleoperazione e l’utilizzo di component bio-ispirati possono facilitare l’interazione con ambienti irregolari, rendendo le operazioni del robot più efficaci e sicure. Il controllo delle mani bioniche può essere ottenuto intuitivamente catturando il movimento della mano dell'operatore umano e mappandolo sulla mano bionica. Le tecnologie di acquisizione del movimento della mano principalmente utilizzate a tal fine sono guanti meccanici sensorizzati e dispositivi di cattura basati sulle immagini. In generale, mentre i primi hanno dato prova di essere più stabili, i secondi consentono movimenti più naturali e garantiscono un maggiore comfort per l'utente. Sebbene le caratteristiche dei due diversi approcci siano chiare, in letteratura mancano solidi studi comparativi fra i due qualora applicati in teleoperazione, come base per la selezione del metodo più appropriato. Date tali premesse, l'obiettivo di questo lavoro è stato di progettare due sistemi di teleoperazione per controllare intuitivamente la stessa mano bionica, utilizzando rispettivamente un guanto sensorizzato e una camera stereoscopica, e confrontarli in termini di precisione, utilizzabilità ed esperienza dell'utente. Innanzitutto, la cinematica inversa della mano bionica è stata modellizzata. Quindi, i due sistemi di cattura sono stati configurati per misurare parametri del movimento umano idonei a controllare la mano bionica. Dopodiché, è stato sviluppato uno stadio di attuazione per controllare i motori della mano bionica, basato sulla cinematica inversa. Infine, i sistemi di teleoperazione ottenuti sono stati confrontati attraverso un esperimento di accuratezza e un test di grasping eseguito da più utenti. Entrambi i sistemi sviluppati si sono rivelati efficaci nel controllare la mano bionica per afferrare oggetti, tramite impugnature di potenza e di precisione. Tuttavia, la tecnica basata sulla visione ha mostrato un livello di accuratezza inferiore che potrebbe avere un impatto sulle prestazioni dell'utente ed è attribuibile al software per la cattura del movimento. Pertanto, ulteriore ricerca è necessaria per sviluppare algoritmi più robusti per la stima della posa della mano basata sulle immagini. Lo studio riguardo l'esperienza degli utenti ha altresì registrato che l’utilizzo del guanto porta a uno sforzo maggiore da parte dell'utente, pertanto, il design deve essere migliorato tenendo maggiormente conto del comfort.