Human intention estimation for robotic visual servoing

The need to perform teleoperation tasks has stimulated the development of modern robots from its very beginning. Nowadays, the availability of more computational power has allowed the inclusion of rich visual information into the control loop to obtain semi-autonomous teleoperation. Nonetheless, human intervention is still required because of safety or ethical reasons for applications that range from nuclear waste handling to delicate surgeries. Because of the stressful nature of such applications and to improve the teleoperation experience in general, it is crucial to provide the operator with all the possible assistance to ease the execution of the tasks. To that end we looked at the field of human-intention estimation to extend an optimization-based visual servoing framework that allows for the teleoperation of dual-arm robots. Leveraging machine learning techniques, the intention estimation problem was posed as a classification one. To deal with the difficulties of gathering real teleoperation data, a synthetic dataset of teleoperated trajectories was generated and a series of experiments, using transfer learning, were conducted to develop a robust classifier that could be used inside the teleoperation loop. The resulting classifier was then used to adjust dynamically the reference target of our visual servoing framework, giving the user a clear view of the remote environment even when its intention changes on the fly. Results were validated in simulation prior to the experiments performed on an ABB Frida robot. In particular, the visual servoing implementation was extended to deal with several targets and to include the developed classifier.

La necessità di eseguire attività di teleoperazione ha stimolato lo sviluppo dei robot moderni sin dal suo inizio. Oggigiorno, la disponibilità di una maggiore potenza di calcolo ha permesso l’inclusione di ricche informazioni visive nell'anello di controllo per ottenere una teleoperazione semi-autonoma. Nondimeno, l’intervento umano è ancora richiesto a causa di motivi etici o di sicurezza per applicazioni che vanno dalla manipolazione dei rifiuti nucleari a delicati interventi chirurgici. A causa della natura stressante di tali applicazioni e per migliorare l’esperienza di teleoprazione in generale, è fondamentale fornire all'operatore tutta l’assistenza possibile per facilitare l’esecuzione delle attività. A tal fine, abbiamo esaminato il campo della stima dell’intenzione umana per estendere un framework di asservimento visivo basato sull'ottimizzazione che consente la teleoperazione di robot a due braccia. Sfruttando le tecniche di apprendimento automatico, si è impostato il problema della stima dell’intenzione come un problema di classificazione. Per affrontare le difficoltà della raccolta di dati di teleoperazione reali, è stato generato un dataset sintetico di traiettorie telecomandate e si sono condotti una serie di esperimenti, utilizzando il transfer learning, per sviluppare un classificatore robusto che possa essere utilizzato all'interno del ciclo di teleoperazione. Il classificatore risultante è stato quindi utilizzato per regolare dinamicamente l’obiettivo di riferimento del nostro framework di asservimento visivo, offrendo all'utente una chiara visione dell’ambiente remoto anche quando la sua intenzione cambia improvvisamente. I risultati sono stati validati in simulazione prima degli esperimenti condotti su un robot ABB Frida. In particolare, l’implementazione dell’asservimento visivo è stata estesa per poter gestire diversi obiettivi e per includere il classificatore sviluppato.