Adaptive sensor fusion framework for touchless control of surgical robot

In the past decade, touchless interaction with objects and drawn increasing attention in the wide range of applications, from entertainment to the real-time control of robots. In this aim, many devices such as Leap Motion and Microsoft Kinect were developed for tracking hand posture. However, the successful realization of these sensors for real-time touchless interaction applications still needs to be improved in terms of precision and withstanding to occlusion issues. In this thesis, novel adaptive sensor fusion methodology is proposed for hand pose and pinch gesture estimation with two Leap Motions to touchless control the surgical robot robustly. The developed adaptive methodology can perform the stable and continuous estimation of the hand pose and pinch gesture in real-time Even if one sensor has lost the detection of the hand suddenly, still, smooth transitions are achieved thanks to the proposed adaptive rule. A self-calibration algorithm is implemented to tolerate the incompatibility in sensor reference frames. Three separate Kalman filters are adopted for adaptive sensor fusion of palm position, orientation and pinch motion. The orientation model is tested by both Euler angles and quaternions. Touchless control framework is developed by introducing the relation between hand and the slave da Vinci Research Kit model. The proposed adaptive sensor fusion method is verified with various experiments in six degrees of freedom in space and additional pinch gesture experiments. Experiments with da Vinci Research Kit simulation has been performed. The proposed adaptive multi-sensor fusion methodology is compared to the direct use of one sensor and the same adaptive Kalman filter with only one sensor. Results showed us, there is a statistically significant increase in the realizability of touchless control when the proposed methodology is implemented. More precisely, the proposed methodology showed more than fourty times less jerk in the position estimation and more than eight times less jerk in the orientation estimations when compared to direct use of the sensor. Subject tests are involved in picking objects and place to the same-colored cup with the touchless control of da Vinci Research Kit. Direct use of the sensor had successfully classified objects with a mean rate of [3.7/6] in mean 126.5 seconds duration of the experiment while proposed multi-sensor fusion achieved mean [5.75/6] success rate in less than half time, in average, 59.6 seconds. Moreover, speaking with statistical analysis, the use of the proposed multi-sensor fusion methodology also clearly dominated one-sensor fusion methodology which is achieved mean [4.9/6] success rate in 114 seconds on average.

Nell'ultimo decennio, l'interazione senza contatto con gli oggetti ha attirato una crescente attenzione in una vasta gamma di applicazioni, dall'intrattenimento al controllo in tempo reale dei robot. A questo scopo, molti dispositivi, come ad esempio Leap Motion e Microsoft Kinect, sono stati sviluppati per il monitoraggio della postura della mano. Tuttavia, la realizzazione di questi sensori per applicazioni di interazione touchless in tempo reale deve ancora essere migliorata in termini di precisione e resistenza ai problemi di occlusione. In questa tesi, viene proposta una nuova metodologia di fusione adattiva di sensori per la stima della posizione della mano e del gesto di pizzicamento con due movimenti di salto. In questo modo, è possibile controllare in modo robusto un robot chirurgico senza contatto. La metodologia adattiva sviluppata è in grado di eseguire una stima stabile e continua della posizione della mano e del gesto di pizzicamento in tempo reale. Anche se un sensore perde improvvisamente il rilevamento della mano, grazie alla regola adattiva proposta si ottengono comunque transizioni fluide. un algoritmo di auto-calibrazione è implementato per tollerare l'incompatibilità nei frame di riferimento del sensore. Tre filtri Kalman separati vengono adottati per la fusione adattiva del sensore di posizione del palmo, orientamento e movimento di presa. Il modello di orientamento è testato sia con gli angoli di Eulero che con i quaternioni. La struttura di controllo touchless viene sviluppata introducendo la relazione tra la mano e il modello “slave” del da Vinci Research Kit. Il metodo di fusione del sensore adattivo proposto è verificato con vari esperimenti in sei gradi di libertà nello spazio e ulteriori esperimenti sui gesti di pizzicamento. Sono stati eseguiti esperimenti con la simulazione del da Vinci Research Kit. La metodologia di fusione multisensore adattiva proposta viene confrontata con l'uso diretto di un solo sensore e con il medesimo filtro adattivo di Kalman con un solo sensore. I risultati hanno dimostrato un aumento statisticamente significativo nella realizzabilità del controllo touchless quando viene implementata la metodologia proposta. Precisamente, la metodologia proposta ha mostrato un jerk più di quaranta volte inferiore nella stima della posizione e più di otto volte inferiore nelle stime dell'orientamento rispetto all'uso diretto del sensore. Sono stati effettuati test su soggetti coinvolti nel raccogliere oggetti e posizionarli nella tazza dello stesso colore utilizzando il controllo senza contatto del da Vinci Research Kit. L'uso diretto del sensore ha classificato con successo gli oggetti con un rate medio di [3,7 / 6] e 126,5 secondi medi di durata dell'esperimento, mentre la fusione multi-sensore proposta ha raggiunto una percentuale di successo media di [5,75 / 6] in meno della metà del tempo, (59,6 secondi in media). Inoltre, dal punto di vista dell'analisi statistica, l'uso della metodologia di fusione multi-sensore proposta ha anche chiaramente dominato la metodologia di fusione a un sensore, che ha raggiunto una una percentuale di successo media [4,9 / 6] in 114 secondi in media.