Telerobotics, which is a specific form of teleoperation dealing with remote control of robots, has a huge impact on several industry verticals and technology sectors in the era of Industry 4.0, especially in applications where tasks are dangerous or even inaccessible to humans. Based on a report published by the “Research and Markets” group, the potential global market of teleoperation and telerobotics is estimated to reach 76.5 billion dollars by 2026. The human-in-the-loop paradigm followed in the teleoperation systems imposes challenges on the design and evaluation of their user-interfaces (UIs). These are of significant importance when the task is to teleoperate multi-degrees of freedom (DoFs) robots that are embedded with dexterous loco-manipulation potential, such as mobile manipulators. In fact, prolonged or repetitive control of such systems may be bothersome and problematic. Hence, the interface usability-the degree to which a system is able or fit to be used-plays an important role in modern and real-world teleoperation applications. Regarding usability, there are ample research studies in the teleoperation (telerobotics) literature. However, there are still open problems in the domain of ergonomics, the system's achieved performance, and the system's scalability which need further attention to fill in the existing scientific gaps. Accordingly, in this thesis, the degree to which teleoperation interfaces fit to human-related factors (ergonomics) and to the teleoperation systems as a whole (performance and scalability) are investigated through interface design and evaluation. Since creating a system that can maximise fitness to all three criteria is difficult due to their conflicting nature, this thesis aims to find the best design that improves the first criterion (ergonomics) and yields acceptable outcomes in performance and scalability. As regards ergonomics, it concerns the perceived physical and cognitive (mental) workloads of operators. The importance of ergonomics (and human-factors) is more felt during interminable tasks, which require a high level of user involvement (physically and mentally) in generating the desired motions for telerobots. The daily repetition of such tasks may lead to so-called musculoskeletal disorders (MSDs), work-related stress, and psychological risks. To tackle this problem, first, an intuitive, cheap, and ergonomic interface is proposed, by employing a three-dimensional (3D) mouse device, an interactive graphical user-interface (GUI) with visual force feedback, and the teleimpedance concept. Compared to the similar and previously developed interfaces, which are based on the joystick, control-pad device, or normal mouse/keyboard, this ergonomic interface improves the trajectory tracking performance and the safety of robot-environment interactions. The former holds true due to the 6-DoF motion axis of the 3D mouse, providing reliable translational and rotational motion inputs, while the latter is guaranteed by the employed impedance control structure for the follower robot, manual stiffness regulation based on the task, and visual force feedback. Second, a novel foundation is built to comparatively evaluate a diverse range of teleoperation UIs in the sense of operators' physical ergonomics. The suggested framework goes beyond the traditional subjective analyses of ergonomics by complementing it with online measurements of the human body configurations, and it can be used for a diverse range of teleoperation interfaces. As a result, multiple quantitative metrics such as posture comfort, joints' usage, range of motion (RoM) comfort, and center of mass (CoM) divergence are introduced. To evaluate this quantitative framework, the 3D mouse interface in a seated posture is compared to a common user-interface (UI) equipped with whole-body motion capture (MoCap) system in a standing posture. As it is expected, the experimental results showed better scores for the 3D mouse interface with regard to physical ergonomics. These studies are explained in detail in Chapter 2. Regarding the system's achieved performance, it encapsulates task-related behaviors, such as execution time, learning curve, trajectory tracking, singularity avoidance, and manipulability maximization. Compared to ergonomics, this aspect has received more attention in the teleoperation literature. For instance, telepresence-the ability to accurately perceive the remote environment-and shared-control (shared-autonomy) are among the topics that are introduced to enhance the system's overall performance. One of the interesting themes in the shared-control problem of prolonged locomotion tasks is to estimate online the users' desired target locations. As a result, the control authority can seamlessly switch from users to robots, under the complete supervision of human operators, contributing to better ergonomics status and system's achieved performance. In an attempt to develop a target estimation algorithm, first, an eye-tracker device is used to track the eye-gaze information in response to visual feedback of the remote environment. This source of information is merged with the robot's odometry data to estimate the desired locomotion target, which is shown graphically to users, and they can release the motion control interface to activate the autonomous controller. After subjective experiments, the participants (verbally) reported a bad experience with the eye-gaze interface. Hence, the gaze information is replaced by the robot's two-dimensional (2D) laser information, estimating the desired target goals completely based on the robot's states. Besides, an autonomous obstacle avoidance algorithm is utilized during the autonomous motions to further improve the user-experience during locomotion tasks. As a result, the amount of users' negative feedback was highly decreased. Moreover, subjective analyses in both cases showed better performance for the shared-control structures with the target estimation algorithm compared to the pure teleoperation interfaces. These studies are presented in Chapter 3 and Chapter 4, respectively. On the other hand, the compromise between the operator's ergonomics and the system's performance is another less focused topic in the literature, which has been studied for the remote loco-manipulation tasks, based on the insights obtained from Chapter 2. Consequently, a new teleoperation interface is introduced which integrates the features of an ergonomic (3D mouse device) and a highly maneuverable interface (twin arm) into a unified solution. Using a hierarchical quadratic programming (HQP) control structure in the manipulation control mode of the proposed reconfigurable interface, secondary tasks, such as manipulability maximization, are executed in the robot's nullspace, autonomously, without affecting the primary ones, which are controlled by operators. The interface is evaluated in a dynamic task and in a path tracking task, and the results show improved performance metrics with respect to the 3D mouse interface (see Chapter 5). Scalability is the last usability aspect that has been studied in this Ph.D. thesis, which can contribute to reducing equipment idle time and the associated costs. Indeed, the possibility to have multiple robots, controlled by one operator, is an additional pivotal requirement of the interface usability, especially in medical or industrial contexts, where dissimilar robots must take diverse roles to perform necessary actions, both individually or in collaboration/cooperation. This poses the problem of scalability of the control systems, calling for an adaptable software framework, able to cope with changing platforms and tasks, the number of involved robots, and collaborative scenarios. Consequently, a novel teleoperation paradigm for remote impedance control of multi-robots in different operational configurations is introduced. This provides an intuitive and low-cost interface with visual feedback and a 3D mouse device, through which the operator can define the desired task-level trajectories and impedance profiles. With a simple mouse click, the user can switch between robots and collaborative operation mode. The control structure, subsequently, manages the distribution of the required parameters into the involved robots. Thanks to the introduced virtual hand concept where each robot is defined as a finger, new robots can be easily added or removed via their kinodynamic parameters. The controller presents a novel approach, which addresses the multi-robot grasping problem from a systematic and software reconfigurable point of view, extending the multi-finger grasping formulation to a multi-robot interaction framework. This allows us to use the powerful control theories of robotic hand manipulation to solve the challenge of multi-robot control and co-manipulation. The proposed framework is evaluated with three different experiments: (i) simulated auscultation on a mock-up patient, (ii) cooperative task where a robot drives the patient on a wheelchair and a different robot performs the auscultation, and (iii) collaborative task where two robots relocate a container. The results demonstrate the capabilities of the framework in terms of adaptability to different robotic platforms, the number of robots involved, and the task requirements. Additionally, quantitative and subjective analyses of twelve subjects show how the developed interface, even in the presence of inaccurate visual feedback, allows smooth and accurate execution of the tasks. The results are presented in Chapter 6.

La telerobotica è una tipologia specifica di teleoperazione che si occupa del controllo remoto dei robot e ha un enorme impatto su svariati settori tecnologici nell'era dell'Industria 4.0, specialmente nelle applicazioni in cui le attività sono pericolose o addirittura inaccessibili per l'uomo. Sulla base di un rapporto pubblicato dal gruppo "Research and Markets", si stima che il potenziale mercato globale della teleoperazione e della telerobotica raggiungerà i 76,5 miliardi di dollari entro il 2026. Il paradigma human-in-the-loop impiegato nei sistemi di teleoperazione impone sfide alla progettazione e valutazione delle relative interfacce utente (UI). Le UI sono di fondamentale importanza quando il compito è teleoperare robot con gradi di libertà (DoF) multipli in cui sono integrate abilità di manipolazione locomotiva destrorsa. In questa categoria ricadono i manipolatori mobili. Il controllo prolungato o ripetitivo di tali sistemi può essere effettivamente problematico. Pertanto, l'usabilità dell'interfaccia e il grado con cui un sistema è idoneo per essere utilizzato, gioca un ruolo importante nelle applicazioni di teleoperazione moderne e del mondo reale. Per quanto riguarda l'usabilità, ci sono numerosi studi di ricerca nella letteratura sulla teleoperazione (telerobotica). Tuttavia, ci sono ancora problemi aperti nell’ambito dell'ergonomia, delle prestazioni raggiunte dal sistema e della sua scalabilità, che richiedono ulteriore attenzione per colmare le lacune scientifiche esistenti. Di conseguenza, in questa tesi, il grado con cui le interfacce di teleoperazione si adattano a fattori legati all'uomo (ergonomia) e ai sistemi di teleoperazione nel suo insieme (prestazioni e scalabilità) vengono studiati attraverso la progettazione e la valutazione dell'interfaccia. Poiché la creazione di un sistema in grado di massimizzare l'idoneità a tutti e tre i criteri risulta piuttosto difficile a causa della loro natura conflittuale, questa tesi mira a trovare un design ottimale che migliori l’ergonomia (primo criterio) e produca risultati accettabili in termini di prestazioni e scalabilità (secondo criterio). Per quanto riguarda l'ergonomia, si occupa principalmente dei carichi di lavoro percepiti dai lavoratori, sia fisici che cognitivi (mentali). L'importanza dell'ergonomia (e dei fattori umani) è ulteriormente evidente durante compiti ripetitivi, che richiedono un alto livello di coinvolgimento dell'utente (fisico e mentale) nella generazione dei movimenti desiderati per controllare da remoto il robot. La ripetizione quotidiana di tali compiti può portare ai cosiddetti disturbi muscoloscheletrici (MSD), stress lavoro correlato e rischi psicologici. Per affrontare questo problema, in primo luogo, viene proposta un'interfaccia intuitiva, economica ed ergonomica, utilizzando un dispositivo mouse tridimensionale (3D), un'interfaccia utente grafica interattiva (GUI) con feedback di forza visivo e il concetto di teleimpedenza. Rispetto alle interfacce simili e sviluppate in precedenza, che si basano su joystick, dispositivo control-pad o normale mouse/tastiera, questa interfaccia ergonomica migliora le prestazioni di tracciamento della traiettoria e la sicurezza delle interazioni robot-ambiente. Le prestazioni sono incrementate grazie all'asse di movimento 6-DoF del mouse 3D, che fornisce input di movimento traslatorio e rotatorio affidabili, mentre la sicurezza è garantita dalla struttura di controllo dell'impedenza impiegata per il robot teleoperato, dalla regolazione manuale della sua rigidità in base all'attività e dal feedback visivo della forza. In secondo luogo, viene sviluppato un nuovo sistema per valutare comparativamente una vasta gamma di interfacce utente di teleoperazione in termini di ergonomia fisica degli operatori. Il framework suggerito va oltre le tradizionali analisi soggettive dell'ergonomia in quanto viene integrato con misurazioni online delle configurazioni del corpo umano e può essere utilizzato per una vasta gamma di interfacce di teleoperazione. Di conseguenza, vengono introdotte più metriche quantitative come il comfort della postura, l'utilizzo delle articolazioni, il comfort della gamma di movimento (RoM) e la divergenza del centro di massa (CoM) da una posizione neutrale. Per valutare questo quadro quantitativo, l'interfaccia del mouse 3D in posizione seduta viene confrontata con un'UI comune dotata di un sistema MoCap (tutto il corpo) in posizione eretta. Come previsto, i risultati sperimentali hanno mostrato punteggi migliori per l'interfaccia del mouse 3D per quanto riguarda l'ergonomia fisica. Questi studi sono spiegati in dettaglio nel Capitolo 2. Per quanto riguarda le prestazioni raggiunte dal sistema,include i comportamenti relativi alle attività, come il tempo di esecuzione, la curva di apprendimento, il tracciamento della traiettoria, l'evitamento della singolarità e la massimizzazione della manipolabilità. Rispetto all'ergonomia, questo aspetto ha ricevuto maggiore attenzione nella letteratura sulla teleoperazione. Ad esempio, la telepresenza, la capacità di percepire accuratamente l'ambiente remoto, e il controllo condiviso (autonomia condivisa) sono tra gli argomenti introdotti per migliorare le prestazioni complessive del sistema. Uno dei temi più interessanti, nell’ambito del controllo condiviso delle attività di locomozione prolungate, è la stima online delle posizioni target desiderate dagli utenti. Di conseguenza, l'autorità di controllo può passare senza problemi dagli utenti ai robot, sotto la completa supervisione degli operatori umani, contribuendo a migliorare lo stato dell'ergonomia e le prestazioni raggiunte del sistema. Nel tentativo di sviluppare un algoritmo di stima dell’obbiettivo dell’utente, in primo luogo, viene utilizzato un dispositivo eye-tracker per tracciare le informazioni sullo sguardo umano in risposta al feedback visivo dell'ambiente remoto. Questa fonte di informazioni viene unita ai dati dell'odometria del robot per stimare il target di locomozione desiderato, che viene mostrato graficamente agli utenti, i quali possono rilasciare l'interfaccia di controllo del movimento per attivare il controller autonomo. Dopo gli esperimenti, i partecipanti (verbalmente) hanno riportato una brutta esperienza con l'interfaccia sguardo-sguardo. Pertanto, le informazioni sullo sguardo vengono sostituite dalle informazioni laser bidimensionali (2D) del robot, stimando gli obiettivi desiderati completamente in base agli stati del robot. Inoltre, l'algoritmo di evitamento degli ostacoli autonomo viene utilizzato durante i movimenti per migliorare ulteriormente l'esperienza dell'utente durante le attività di locomozione. Di conseguenza, la quantità di feedback negativi degli utenti è stata notevolmente ridotta. Inoltre, le analisi soggettive in entrambi i casi hanno mostrato prestazioni migliori per le strutture di controllo condiviso con l'algoritmo di stima dell’obbiettivo rispetto alle interfacce pure di teleoperazione. Questi studi sono presentati rispettivamente nel Capitolo 3 e nel Capitolo 4. D'altra parte, il compromesso tra l'ergonomia dell'operatore e le prestazioni del sistema è un altro argomento meno considerato nella letteratura, che è stata studiata per i compiti di loco-manipolazione, sulla base delle intuizioni ottenute dagli studi nel Capitolo 2. Di conseguenza, una nuova teleoperazione viene introdotta un'interfaccia che integra le caratteristiche di un'interfaccia ergonomica (dispositivo mouse 3D) e un'interfaccia altamente manovrabile (twin arm) in una soluzione unificata. Utilizzando una struttura di controllo di programmazione quadratica gerarchica (HQP) nella modalità di controllo della manipolazione dell'interfaccia riconfigurabile proposta, le attività secondarie, come la massimizzazione della manipolabilità, vengono eseguite nello spazio nullo del robot, in modo autonomo, senza influire su quelle primarie, che sono controllate dagli operatori. L'interfaccia viene valutata in un'attività dinamica e in un'attività di tracciamento del percorso ei risultati mostrano metriche delle prestazioni migliorate rispetto all'interfaccia del mouse 3D (Capitolo 5). La scalabilità è l'ultimo aspetto di usabilità che è stato studiato in questa tesi. Esso può contribuire a ridurre i tempi di inattività delle apparecchiature e i costi associati. In effetti, la possibilità di avere più robot, controllati da un operatore, è un ulteriore requisito fondamentale dell'usabilità dell'interfaccia, soprattutto in contesti medici o industriali, dove robot diversi devono assumere ruoli diversi per eseguire le azioni necessarie, sia individualmente che in collaborazione/cooperazione . Ciò pone il problema della scalabilità dei sistemi di controllo, richiedendo un framework software adattabile, in grado di far fronte a piattaforme e attività in evoluzione, numero di robot coinvolti e scenari collaborativi. Di conseguenza, viene introdotto un nuovo paradigma di teleoperazione per il controllo remoto dell'impedenza di multi-robot in diverse configurazioni operative. Ciò fornisce un'interfaccia intuitiva ed economica con feedback visivo e un dispositivo mouse 3D, attraverso il quale l'operatore può definire le traiettorie a livello di attività e i profili di impedenza desiderati. Con un semplice clic del mouse, l'utente può passare dalla modalità robot alla modalità operativa collaborativa. La struttura di controllo, successivamente, gestisce la distribuzione dei parametri richiesti nei robot coinvolti. Grazie al concetto di mano virtuale introdotto, in cui ogni robot è definito come un dito, nuovi robot possono essere facilmente aggiunti o rimossi tramite i loro parametri cinematici e dinamici. Il controllore presenta un nuovo approccio, che affronta il problema dell'afferramento multi-robot da un punto di vista sistematico e riconfigurabile dal software, estendendo la formulazione dell'afferramento multi-dito a un framework di interazione multi-robot. Ciò ci consente di utilizzare le potenti teorie di controllo della manipolazione robotica della mano per risolvere la sfida del controllo multi-robot e della co-manipolazione. Il quadro proposto è valutato con tre differenti esperimenti: (i) un'auscultazione simulata su un manichino, (ii) un'attività cooperativa in cui un robot guida il manichino su una sedia a rotelle e un altro robot esegue l'auscultazione e (iii) un'attività collaborativa in cui due robot trasferiscono un contenitore. I risultati dimostrano le capacità del framework in termini di adattabilità a diverse piattaforme robotiche, il numero di robot coinvolti e i requisiti delle attività. Inoltre, analisi quantitative e soggettive di dodici soggetti mostrano come l'interfaccia sviluppata, anche in presenza di feedback visivo impreciso, consenta un'esecuzione fluida e accurata dei compiti. I risultati sono presentati nel capitolo 6.

A methodology for improving usability and ergonomics of teleoperation interfaces

Gholami, Soheil
2021/2022

Abstract

Telerobotics, which is a specific form of teleoperation dealing with remote control of robots, has a huge impact on several industry verticals and technology sectors in the era of Industry 4.0, especially in applications where tasks are dangerous or even inaccessible to humans. Based on a report published by the “Research and Markets” group, the potential global market of teleoperation and telerobotics is estimated to reach 76.5 billion dollars by 2026. The human-in-the-loop paradigm followed in the teleoperation systems imposes challenges on the design and evaluation of their user-interfaces (UIs). These are of significant importance when the task is to teleoperate multi-degrees of freedom (DoFs) robots that are embedded with dexterous loco-manipulation potential, such as mobile manipulators. In fact, prolonged or repetitive control of such systems may be bothersome and problematic. Hence, the interface usability-the degree to which a system is able or fit to be used-plays an important role in modern and real-world teleoperation applications. Regarding usability, there are ample research studies in the teleoperation (telerobotics) literature. However, there are still open problems in the domain of ergonomics, the system's achieved performance, and the system's scalability which need further attention to fill in the existing scientific gaps. Accordingly, in this thesis, the degree to which teleoperation interfaces fit to human-related factors (ergonomics) and to the teleoperation systems as a whole (performance and scalability) are investigated through interface design and evaluation. Since creating a system that can maximise fitness to all three criteria is difficult due to their conflicting nature, this thesis aims to find the best design that improves the first criterion (ergonomics) and yields acceptable outcomes in performance and scalability. As regards ergonomics, it concerns the perceived physical and cognitive (mental) workloads of operators. The importance of ergonomics (and human-factors) is more felt during interminable tasks, which require a high level of user involvement (physically and mentally) in generating the desired motions for telerobots. The daily repetition of such tasks may lead to so-called musculoskeletal disorders (MSDs), work-related stress, and psychological risks. To tackle this problem, first, an intuitive, cheap, and ergonomic interface is proposed, by employing a three-dimensional (3D) mouse device, an interactive graphical user-interface (GUI) with visual force feedback, and the teleimpedance concept. Compared to the similar and previously developed interfaces, which are based on the joystick, control-pad device, or normal mouse/keyboard, this ergonomic interface improves the trajectory tracking performance and the safety of robot-environment interactions. The former holds true due to the 6-DoF motion axis of the 3D mouse, providing reliable translational and rotational motion inputs, while the latter is guaranteed by the employed impedance control structure for the follower robot, manual stiffness regulation based on the task, and visual force feedback. Second, a novel foundation is built to comparatively evaluate a diverse range of teleoperation UIs in the sense of operators' physical ergonomics. The suggested framework goes beyond the traditional subjective analyses of ergonomics by complementing it with online measurements of the human body configurations, and it can be used for a diverse range of teleoperation interfaces. As a result, multiple quantitative metrics such as posture comfort, joints' usage, range of motion (RoM) comfort, and center of mass (CoM) divergence are introduced. To evaluate this quantitative framework, the 3D mouse interface in a seated posture is compared to a common user-interface (UI) equipped with whole-body motion capture (MoCap) system in a standing posture. As it is expected, the experimental results showed better scores for the 3D mouse interface with regard to physical ergonomics. These studies are explained in detail in Chapter 2. Regarding the system's achieved performance, it encapsulates task-related behaviors, such as execution time, learning curve, trajectory tracking, singularity avoidance, and manipulability maximization. Compared to ergonomics, this aspect has received more attention in the teleoperation literature. For instance, telepresence-the ability to accurately perceive the remote environment-and shared-control (shared-autonomy) are among the topics that are introduced to enhance the system's overall performance. One of the interesting themes in the shared-control problem of prolonged locomotion tasks is to estimate online the users' desired target locations. As a result, the control authority can seamlessly switch from users to robots, under the complete supervision of human operators, contributing to better ergonomics status and system's achieved performance. In an attempt to develop a target estimation algorithm, first, an eye-tracker device is used to track the eye-gaze information in response to visual feedback of the remote environment. This source of information is merged with the robot's odometry data to estimate the desired locomotion target, which is shown graphically to users, and they can release the motion control interface to activate the autonomous controller. After subjective experiments, the participants (verbally) reported a bad experience with the eye-gaze interface. Hence, the gaze information is replaced by the robot's two-dimensional (2D) laser information, estimating the desired target goals completely based on the robot's states. Besides, an autonomous obstacle avoidance algorithm is utilized during the autonomous motions to further improve the user-experience during locomotion tasks. As a result, the amount of users' negative feedback was highly decreased. Moreover, subjective analyses in both cases showed better performance for the shared-control structures with the target estimation algorithm compared to the pure teleoperation interfaces. These studies are presented in Chapter 3 and Chapter 4, respectively. On the other hand, the compromise between the operator's ergonomics and the system's performance is another less focused topic in the literature, which has been studied for the remote loco-manipulation tasks, based on the insights obtained from Chapter 2. Consequently, a new teleoperation interface is introduced which integrates the features of an ergonomic (3D mouse device) and a highly maneuverable interface (twin arm) into a unified solution. Using a hierarchical quadratic programming (HQP) control structure in the manipulation control mode of the proposed reconfigurable interface, secondary tasks, such as manipulability maximization, are executed in the robot's nullspace, autonomously, without affecting the primary ones, which are controlled by operators. The interface is evaluated in a dynamic task and in a path tracking task, and the results show improved performance metrics with respect to the 3D mouse interface (see Chapter 5). Scalability is the last usability aspect that has been studied in this Ph.D. thesis, which can contribute to reducing equipment idle time and the associated costs. Indeed, the possibility to have multiple robots, controlled by one operator, is an additional pivotal requirement of the interface usability, especially in medical or industrial contexts, where dissimilar robots must take diverse roles to perform necessary actions, both individually or in collaboration/cooperation. This poses the problem of scalability of the control systems, calling for an adaptable software framework, able to cope with changing platforms and tasks, the number of involved robots, and collaborative scenarios. Consequently, a novel teleoperation paradigm for remote impedance control of multi-robots in different operational configurations is introduced. This provides an intuitive and low-cost interface with visual feedback and a 3D mouse device, through which the operator can define the desired task-level trajectories and impedance profiles. With a simple mouse click, the user can switch between robots and collaborative operation mode. The control structure, subsequently, manages the distribution of the required parameters into the involved robots. Thanks to the introduced virtual hand concept where each robot is defined as a finger, new robots can be easily added or removed via their kinodynamic parameters. The controller presents a novel approach, which addresses the multi-robot grasping problem from a systematic and software reconfigurable point of view, extending the multi-finger grasping formulation to a multi-robot interaction framework. This allows us to use the powerful control theories of robotic hand manipulation to solve the challenge of multi-robot control and co-manipulation. The proposed framework is evaluated with three different experiments: (i) simulated auscultation on a mock-up patient, (ii) cooperative task where a robot drives the patient on a wheelchair and a different robot performs the auscultation, and (iii) collaborative task where two robots relocate a container. The results demonstrate the capabilities of the framework in terms of adaptability to different robotic platforms, the number of robots involved, and the task requirements. Additionally, quantitative and subjective analyses of twelve subjects show how the developed interface, even in the presence of inaccurate visual feedback, allows smooth and accurate execution of the tasks. The results are presented in Chapter 6.
DUBINI, GABRIELE ANGELO
DELLACA', RAFFAELE
AJOUDANI, ARASH
22-feb-2022
A methodology for improving usability and ergonomics of teleoperation interfaces
La telerobotica è una tipologia specifica di teleoperazione che si occupa del controllo remoto dei robot e ha un enorme impatto su svariati settori tecnologici nell'era dell'Industria 4.0, specialmente nelle applicazioni in cui le attività sono pericolose o addirittura inaccessibili per l'uomo. Sulla base di un rapporto pubblicato dal gruppo "Research and Markets", si stima che il potenziale mercato globale della teleoperazione e della telerobotica raggiungerà i 76,5 miliardi di dollari entro il 2026. Il paradigma human-in-the-loop impiegato nei sistemi di teleoperazione impone sfide alla progettazione e valutazione delle relative interfacce utente (UI). Le UI sono di fondamentale importanza quando il compito è teleoperare robot con gradi di libertà (DoF) multipli in cui sono integrate abilità di manipolazione locomotiva destrorsa. In questa categoria ricadono i manipolatori mobili. Il controllo prolungato o ripetitivo di tali sistemi può essere effettivamente problematico. Pertanto, l'usabilità dell'interfaccia e il grado con cui un sistema è idoneo per essere utilizzato, gioca un ruolo importante nelle applicazioni di teleoperazione moderne e del mondo reale. Per quanto riguarda l'usabilità, ci sono numerosi studi di ricerca nella letteratura sulla teleoperazione (telerobotica). Tuttavia, ci sono ancora problemi aperti nell’ambito dell'ergonomia, delle prestazioni raggiunte dal sistema e della sua scalabilità, che richiedono ulteriore attenzione per colmare le lacune scientifiche esistenti. Di conseguenza, in questa tesi, il grado con cui le interfacce di teleoperazione si adattano a fattori legati all'uomo (ergonomia) e ai sistemi di teleoperazione nel suo insieme (prestazioni e scalabilità) vengono studiati attraverso la progettazione e la valutazione dell'interfaccia. Poiché la creazione di un sistema in grado di massimizzare l'idoneità a tutti e tre i criteri risulta piuttosto difficile a causa della loro natura conflittuale, questa tesi mira a trovare un design ottimale che migliori l’ergonomia (primo criterio) e produca risultati accettabili in termini di prestazioni e scalabilità (secondo criterio). Per quanto riguarda l'ergonomia, si occupa principalmente dei carichi di lavoro percepiti dai lavoratori, sia fisici che cognitivi (mentali). L'importanza dell'ergonomia (e dei fattori umani) è ulteriormente evidente durante compiti ripetitivi, che richiedono un alto livello di coinvolgimento dell'utente (fisico e mentale) nella generazione dei movimenti desiderati per controllare da remoto il robot. La ripetizione quotidiana di tali compiti può portare ai cosiddetti disturbi muscoloscheletrici (MSD), stress lavoro correlato e rischi psicologici. Per affrontare questo problema, in primo luogo, viene proposta un'interfaccia intuitiva, economica ed ergonomica, utilizzando un dispositivo mouse tridimensionale (3D), un'interfaccia utente grafica interattiva (GUI) con feedback di forza visivo e il concetto di teleimpedenza. Rispetto alle interfacce simili e sviluppate in precedenza, che si basano su joystick, dispositivo control-pad o normale mouse/tastiera, questa interfaccia ergonomica migliora le prestazioni di tracciamento della traiettoria e la sicurezza delle interazioni robot-ambiente. Le prestazioni sono incrementate grazie all'asse di movimento 6-DoF del mouse 3D, che fornisce input di movimento traslatorio e rotatorio affidabili, mentre la sicurezza è garantita dalla struttura di controllo dell'impedenza impiegata per il robot teleoperato, dalla regolazione manuale della sua rigidità in base all'attività e dal feedback visivo della forza. In secondo luogo, viene sviluppato un nuovo sistema per valutare comparativamente una vasta gamma di interfacce utente di teleoperazione in termini di ergonomia fisica degli operatori. Il framework suggerito va oltre le tradizionali analisi soggettive dell'ergonomia in quanto viene integrato con misurazioni online delle configurazioni del corpo umano e può essere utilizzato per una vasta gamma di interfacce di teleoperazione. Di conseguenza, vengono introdotte più metriche quantitative come il comfort della postura, l'utilizzo delle articolazioni, il comfort della gamma di movimento (RoM) e la divergenza del centro di massa (CoM) da una posizione neutrale. Per valutare questo quadro quantitativo, l'interfaccia del mouse 3D in posizione seduta viene confrontata con un'UI comune dotata di un sistema MoCap (tutto il corpo) in posizione eretta. Come previsto, i risultati sperimentali hanno mostrato punteggi migliori per l'interfaccia del mouse 3D per quanto riguarda l'ergonomia fisica. Questi studi sono spiegati in dettaglio nel Capitolo 2. Per quanto riguarda le prestazioni raggiunte dal sistema,include i comportamenti relativi alle attività, come il tempo di esecuzione, la curva di apprendimento, il tracciamento della traiettoria, l'evitamento della singolarità e la massimizzazione della manipolabilità. Rispetto all'ergonomia, questo aspetto ha ricevuto maggiore attenzione nella letteratura sulla teleoperazione. Ad esempio, la telepresenza, la capacità di percepire accuratamente l'ambiente remoto, e il controllo condiviso (autonomia condivisa) sono tra gli argomenti introdotti per migliorare le prestazioni complessive del sistema. Uno dei temi più interessanti, nell’ambito del controllo condiviso delle attività di locomozione prolungate, è la stima online delle posizioni target desiderate dagli utenti. Di conseguenza, l'autorità di controllo può passare senza problemi dagli utenti ai robot, sotto la completa supervisione degli operatori umani, contribuendo a migliorare lo stato dell'ergonomia e le prestazioni raggiunte del sistema. Nel tentativo di sviluppare un algoritmo di stima dell’obbiettivo dell’utente, in primo luogo, viene utilizzato un dispositivo eye-tracker per tracciare le informazioni sullo sguardo umano in risposta al feedback visivo dell'ambiente remoto. Questa fonte di informazioni viene unita ai dati dell'odometria del robot per stimare il target di locomozione desiderato, che viene mostrato graficamente agli utenti, i quali possono rilasciare l'interfaccia di controllo del movimento per attivare il controller autonomo. Dopo gli esperimenti, i partecipanti (verbalmente) hanno riportato una brutta esperienza con l'interfaccia sguardo-sguardo. Pertanto, le informazioni sullo sguardo vengono sostituite dalle informazioni laser bidimensionali (2D) del robot, stimando gli obiettivi desiderati completamente in base agli stati del robot. Inoltre, l'algoritmo di evitamento degli ostacoli autonomo viene utilizzato durante i movimenti per migliorare ulteriormente l'esperienza dell'utente durante le attività di locomozione. Di conseguenza, la quantità di feedback negativi degli utenti è stata notevolmente ridotta. Inoltre, le analisi soggettive in entrambi i casi hanno mostrato prestazioni migliori per le strutture di controllo condiviso con l'algoritmo di stima dell’obbiettivo rispetto alle interfacce pure di teleoperazione. Questi studi sono presentati rispettivamente nel Capitolo 3 e nel Capitolo 4. D'altra parte, il compromesso tra l'ergonomia dell'operatore e le prestazioni del sistema è un altro argomento meno considerato nella letteratura, che è stata studiata per i compiti di loco-manipolazione, sulla base delle intuizioni ottenute dagli studi nel Capitolo 2. Di conseguenza, una nuova teleoperazione viene introdotta un'interfaccia che integra le caratteristiche di un'interfaccia ergonomica (dispositivo mouse 3D) e un'interfaccia altamente manovrabile (twin arm) in una soluzione unificata. Utilizzando una struttura di controllo di programmazione quadratica gerarchica (HQP) nella modalità di controllo della manipolazione dell'interfaccia riconfigurabile proposta, le attività secondarie, come la massimizzazione della manipolabilità, vengono eseguite nello spazio nullo del robot, in modo autonomo, senza influire su quelle primarie, che sono controllate dagli operatori. L'interfaccia viene valutata in un'attività dinamica e in un'attività di tracciamento del percorso ei risultati mostrano metriche delle prestazioni migliorate rispetto all'interfaccia del mouse 3D (Capitolo 5). La scalabilità è l'ultimo aspetto di usabilità che è stato studiato in questa tesi. Esso può contribuire a ridurre i tempi di inattività delle apparecchiature e i costi associati. In effetti, la possibilità di avere più robot, controllati da un operatore, è un ulteriore requisito fondamentale dell'usabilità dell'interfaccia, soprattutto in contesti medici o industriali, dove robot diversi devono assumere ruoli diversi per eseguire le azioni necessarie, sia individualmente che in collaborazione/cooperazione . Ciò pone il problema della scalabilità dei sistemi di controllo, richiedendo un framework software adattabile, in grado di far fronte a piattaforme e attività in evoluzione, numero di robot coinvolti e scenari collaborativi. Di conseguenza, viene introdotto un nuovo paradigma di teleoperazione per il controllo remoto dell'impedenza di multi-robot in diverse configurazioni operative. Ciò fornisce un'interfaccia intuitiva ed economica con feedback visivo e un dispositivo mouse 3D, attraverso il quale l'operatore può definire le traiettorie a livello di attività e i profili di impedenza desiderati. Con un semplice clic del mouse, l'utente può passare dalla modalità robot alla modalità operativa collaborativa. La struttura di controllo, successivamente, gestisce la distribuzione dei parametri richiesti nei robot coinvolti. Grazie al concetto di mano virtuale introdotto, in cui ogni robot è definito come un dito, nuovi robot possono essere facilmente aggiunti o rimossi tramite i loro parametri cinematici e dinamici. Il controllore presenta un nuovo approccio, che affronta il problema dell'afferramento multi-robot da un punto di vista sistematico e riconfigurabile dal software, estendendo la formulazione dell'afferramento multi-dito a un framework di interazione multi-robot. Ciò ci consente di utilizzare le potenti teorie di controllo della manipolazione robotica della mano per risolvere la sfida del controllo multi-robot e della co-manipolazione. Il quadro proposto è valutato con tre differenti esperimenti: (i) un'auscultazione simulata su un manichino, (ii) un'attività cooperativa in cui un robot guida il manichino su una sedia a rotelle e un altro robot esegue l'auscultazione e (iii) un'attività collaborativa in cui due robot trasferiscono un contenitore. I risultati dimostrano le capacità del framework in termini di adattabilità a diverse piattaforme robotiche, il numero di robot coinvolti e i requisiti delle attività. Inoltre, analisi quantitative e soggettive di dodici soggetti mostrano come l'interfaccia sviluppata, anche in presenza di feedback visivo impreciso, consenta un'esecuzione fluida e accurata dei compiti. I risultati sono presentati nel capitolo 6.
File allegati
File Dimensione Formato  
Thesis_Soheil.pdf

solo utenti autorizzati dal 03/02/2023

Descrizione: Ph.D. Thesis - Soheil Gholami
Dimensione 16.7 MB
Formato Adobe PDF
16.7 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/183019