Recognition of intentional violations of active constraints in cooperative manipulation tasks

Active Constraints (ACs) are high-level control algorithms that are deployed to assist a human operator in man-machine cooperative tasks. Active constraint are preoperatively computed to define regions of the workspace within which it is safe for the robot to move and cut. To enhance the performance in cooperative surgical tasks, adaptive constraints have been investigated as a tool to optimally adjust the provided level of assistance, according to some knowledge of the task, hardware or user. In literature, Hidden Markov Models have been deployed for run-time identification of whether the user wanted to intentionally leave a guidance constraint to circumvent circular obstacles placed along the path. In this work we present the evaluation of two classification methodologies for the runtime recognition of intentional and unintentional violations of ACs, exploiting interaction force signals measured at the tool tip of a haptic manipulator: continuous Hidden Markov Models (HMM) and feedforward Neural Networks (NN). Both approaches have been deployed for path-following and target-reaching tasks. During cooperative assistance, intentional violation of ACs takes place whenever the current action of the user is in disagreement with the purpose of the constraint, typically resulting from environmental sensing limitations of the robotic system. In this case, the constraint is felt as a hindrance, resulting in disturbing interaction forces at the tool tip. Unintentional violations occur when the user shares the purpose of the constraint and accidental errors in the task execution are made anyway. Active constraints can have one of two purposes: Guidance constraints are enforced to guide the motion of the tool along a specified trajectory. Regional constraints are enforced to bound the motion of the tool into certain safe regions. Both types of constraints were considered in this work and modeled with a planar geometry, according to a conventional viscoelastic constraint model. The measured force signals were deployed to train and validate three different classifier: a continuous HMM, based on the magnitude of the force signal; a feedforward NN (StNN) based on seven statistical features (e.g. mean, variance, energy) extracted from the measured force signal; a feedforward NN (SpNN) based on spectral features, yielding the energy distribution of the force signal across different levels of its Wavelet decomposition. The Phantom Omni (Sensable Technologies, Inc.) haptic device was used during assisted cooperative tasks. The active constraint controller was implemented on Matlab/Simulink R2014b platform. Visual feedback of the task execution was provided through a screen. To evaluate task-independent properties of the classification methods proposed, two sets of tasks were considered: Following task. The user was asked to move as accurately as possible along different 2D spline-based paths, assisted by a guidance constraint. He/she was asked to overcome any circular obstacle placed along the path by acting against the constraint; Reaching task. The user had to place the pointer as accurately as possible on several equally spaced targets, which lay within a forbidden region bounded by a regional constraint with 50% probability. We asked 12 subjects to perform 10 trials for each of the two tasks. The interaction force between the tool tip and the constraint was recorded, segmented to extract non-null interactions (f>0) and automatically labeled as “intentional” or “unintentional” violations according to the known positions of obstacles/region boundaries. Two distinct datasets were built from all users across all trials for supervised learning, each furtherly split into a training dataset (50%) and a validation dataset (50%). The three classifiers were applied to each task dataset. The performances of the classification methods were computed in terms of sensitivity (Se) and specificity (Sp), yielding the Receiver Operating Characteristics (ROC) curves over time for each classifier. A classification threshold was applied on the continuous output of the models. As we believed that, for safety reasons, it would be desirable to have a classifier characterized by a high specificity level, with high capability of detecting and rejecting unintentional violations, the discretization threshold was computed on the basis of a specificity level set by the operator. The sensitivity profile was consequently calculated. Results showed that, in general, the classification performances of each methodology increase as the violation time widens: the ROC curves asymptotically tend to the ideal classifier. However, the minimum interval time necessary to reach a required performance is different. In general, StNN methods are faster than HMM, that, in turn are faster than SpNN. For path-following tasks, each classifier is able to detect intentional violations with a sensitivity level exceeding 90% within 1s after the violation has started. For target-reaching tasks, similar performances are achieved for StNN and HMM, while SpNN reaches similar performances after 2s. Future work will investigate methods to exploit the continuous output feature of the classification methods proposed in order to optimally modulate the provided assistance according to the probability of the user’s intention classification within surgical cooperative tasks.

Gli “Active Constraints” (vincoli attivi) sono algoritmi di controllo ad alto livello, utilizzati per assistere un operatore umano, durante la cooperazione uomo-robot. Gli Active Constraint sono definiti nel piano preoperatorio e il loro scopo è quello di delimitare regioni dello spazio di lavoro in cui il manipolatore può muoversi e incidere i tessuti in modo sicuro. Per migliorare le performance del chirurgo durante la cooperazione, sono stati introdotti vincoli virtuali di tipo adattativo, che adattano il livello di assistenza sulla base di informazioni sul task eseguito, sull’hardware o riguardanti l’utente che esegue il task. In letteratura, un primo esempio di impiego di vincoli adattivi è stato implementato sulla base di un modello di Markov continuo, utilizzato per il riconoscimento online dell’intenzione di un utente di allontanarsi da una traiettoria predefinita e evitare una serie di ostacoli circolari. In questo lavoro vengono presentati due metodi di classificazione per il riconoscimento di violazioni intenzionali e violazioni non intenzionali degli Active Constraint, sfruttando segnali di forza misurati in corrispondenza dell’end-effector dell’interfaccia aptica: un modello di Markov (HMM) continuo, and un modello basato su reti neurali di tipo feedforward. Entrambi gli approcci sono stati valutati su prove che prevedono il raggiungimento di un target o inseguimento di una traiettoria. Durante la cooperazione, le violazioni di tipo intenzionale sono dovute ad un momentaneo disaccordo tra l’azione che l’utente esegue e la finalità del vincolo stesso. In genere, ciò è dovuto a limitazioni intrinseche del manipolatore, che non è in grado di adattarsi all’azione corrente dell’utente. Il vincolo è quindi percepito come un ostacolo per l’esecuzione della prova. Al contrario, le violazioni intenzionali sono causate da errori accidentali che l’utente commette durante il task, nonostante il vicolo sia correttamente applicato. In genere, gli Active Constraint sono classificabili in base alla loro finalità come: Guidance Constraint, cioè vincoli impiegati per guidare il movimento del manipolatore lungo determinate traiettorie; Regional Constraint, cioè vincoli impiegati per delimitare i movimenti del robot all’interno di regioni sicure. In questo lavoro sono stati considerati entrambe le tipologie, che sono state implementate sulla base di una geometria planare, secondo un modello viscoelastico. I segnali di forza misurati, sono stati impiegati per l’addestramento e la validazione di tre classificatori: un modello di Markov continuo basato sul modulo della forza di interazione; una rete neurale basata su variabili statistiche estratte dai segnali di forza; una rete neurale basata sulla distribuzione di energia del segnale di forza su differenti livelli di una decomposizione Wavelet. Per l’esecuzione delle prove, è stata impiegata l’interfaccia aptica “Phantom Omni” (Sensable Technologies, Inc.). Il sistema di controllo è stato implementato utilizzando librarie compatibili con la piattaforma di calcolo Matlab/Simulink R2014b. Il feedback visivo è stato fornito tramite uno schermo. Per valutare le performance di classificazione sono stati considerati due blocchi di prove: “Inseguimento di una traiettoria”. All’utente viene chiesto di muovere l’interfaccia lungo una traiettoria 2D in modo più accurato possibile, aiutato da un vincolo di tipo “guidance”. L’utente deve, inoltre, superare alcuni ostacoli circolari posti lungo il percorso; “Raggiungimento di un target”. All’utente viene chiesto di posizionare il cursore in modo accurato sui punti target visualizzati che, con probabilità del 50%, giacciono all’interno di una regione proibita È stato chiesto a 12 soggetti di effettuare 10 prove per blocco. Il segnale di forza è stato misurato per estrarre i diversi segmenti di interazione (f>0), che sono stati successivamente etichettati come “intenzionali” o “non intenzionali” a seconda di dati di posizione di ostacoli/limiti regionali. Dalle prove di tutti gli utenti, sono stati costruiti due set di dati distinti per l’addestramento supervisionato. Ciascun set è stato ulteriormente diviso in un set per l’addestramento (50%) ed un set per la validazione (50%). I tre classificatori sono stati applicati ad entrambi i set di dati. Le performance dei modelli sono state valutate in termini di sensitività (Se) e specificità (Sp), ottenendo l’andamento delle curve ROC nel tempo. Poiché abbiamo ritenuto che, in uno scenario applicativo reale, sarebbe più affidabile in termini di sicurezza un classificatore con alta specificità, è stato scelto di discretizzare l’output continuo dei modelli sulla base di una specificità impostata dall’operatore. L’indice di sensitività è stato conseguentemente ricavato. I risultati hanno mostrato come, in generale, le prestazione dei classificatori migliorino all’aumentare dell’intervallo di tempo considerato dopo l’inizio della violazione, in quanto le curve ROC tendono asintoticamente al classificatore ideale. Ciò nonostante, il tempo minimo richiesto per raggiungere determinate prestazioni è differente. In generale, il modello StNN è risultato il più veloce rispetto al modello HMM, che a sua volta è più veloce del modello SpNN. Per prove di inseguimento di una traiettoria, tutti i modelli sono in grado di identificare violazioni intenzionali con una sensitività che supera il 90%, in un intervallo di tempo minore di un 1s. Per prove di raggiungimento di un target, i modelli StNN e HMM raggiungono prestazioni simili entro 1s dall’inizio della violazione, mentre il modello SpNN richiede un tempo maggiore di 2s. Possibili sviluppi futuri includono la valutazione di metodi per sfruttare l’output continuo del classificatore per modulare il livello di assistenza in base alla probabilità associata alle diverse intenzioni dell’utente durante cooperazione chirurgica.