Design and development of a Kinect based multi purpose gesture interface for fragile people

With the advent of cheap image and depth sensors like Kinect, vision-based pose and gesture recognition have been increasingly used for different purposes. The use of keyboard and mouse and in general traditional input devices have always been an obstacle for older adults to interact with computers. Natural User Interfaces (NUI) such as gestures and hand poses without the need of touching the device seems to be more convenient for these users. However, for elderly or disabled people there are limitations on the movements which may differ from one person to another. In this thesis, the idea is to develop a gesture recognition system using Kinect that can get adapted to a specific person's abilities in performing poses and gestures for Human Computer Interaction. Gesture recognition systems have been improved greatly in the recent years. Yet, they still have many shortcomings to handle special user needs for elderly or disabled user. The approaches proposed for gesture recognition systems usually ignore the specific hand postures or are able to recognize only a limited number of the postures in combination with the trajectories of the tracked hands. Furthermore, price, responsiveness, user adaptability, learnability, accuracy, and low mental load are the aspects that should be considered in the design of the system. In this work, an approach for hand pose estimation and static gesture recognition is proposed that is flexible to recognize the user specific poses and gestures with minimum effort for training. The work considers, elderly limitations in performing the gesture and hand poses and proposes an approach to overcome some of these limitations. Skeletons of the hands are extracted as the features needed for hand pose estimation. Two algorithms are adopted and compared for finding the similarity between different hand poses. Last but not least, an HMM-based approach is introduced for static gesture recognition. The tests carried on have shown an average accuracy of 92.29% for pose estimation and 98.4% for gesture recognition.

Grazie alla diffusione di sensori integrati per la ricostruzione di scenari 3D a basso costo, come Kinect, il riconoscimento di gesti, del volto e della postura del corpo basato su visione artificiale trova campi d'utilizzo sempre più ampi. L'utilizzo di mouse, tastiera ed in generale di dispositivi di input tradizionali è da sempre un ostacolo nell'interazione tra persone fragili e computer. Le interfacce utente naturali, implicite, (Natural User Interfaces, NUI) non richiedono il contatto con un dispositivo sembrano essere più adatte per questo tipo di utenti; un esempio è il riconoscimento di un gesto e della posizione della mano per compiere una azione su di un computer. Inoltre persone disabili o anziane possono soffrire di limitazioni nei movimenti, differenti da persona a persona, che richiedono una adattabilità della interfaccia alle loro reali possibilità. Questo lavoro di tesi propone un sistema di riconoscimento di gesti e della posizione della mano basato su Kinect che può essere adattato alle reale capacità ed esigenza dell'utente; il sistema è pensato per essere una interfaccia HCI (Human Computer Interaction). I sistemi di riconoscimento di gesti si sono molto evoluti negli ultimi anni anche se presentano ancora qualche limitazione nell'adattamento a reali bisogni di utenti disabili o anziani. Inoltre gli approcci proposti per il riconoscimento di gesti solitamente non tengono in conto della specifica posizione della mano, o sono in grado di riconoscere solamente un numero limitato di posizioni combinate, eventualmente, con la traiettoria della mano stessa. Nella fattispecie, di fronte alla progettazione di un sistema di questo tipo e necessario considerare gli aspetti riguardanti costo, reattivit\`{a}, accuratezza, adattabilit\`{a} all'utente, facilit\`{a} di apprendimento e spontaneit\`{a}/intuitivit\`{a}. In questo lavoro viene proposto un approccio per la stima della posizione della mano e il riconoscimento di gesti statici in grado di adattarsi ai bisogni e alle capacit\`{a} specifiche dell'utente con un impegno di addestramento minimo. Il lavoro prende in considerazione le limitazioni che caratterizzano i gesti e le posizioni della mano e propone un approccio per affrontarne alcune. Dalle immagini delle mani si estrae un'approssimazione dello scheletro che viene poi utilizzata per estrarre le caratteristiche su cui si basa la stima della posizione. Sono stati presi in esame due algoritmi, confrontandone le prestazioni nel riconoscere la similarit\`{a} tra diverse posizioni della mano. Infine, un approccio basato su HMM e stato introdotto per implementare il riconoscimento di gesti statici. I test hanno mostrato un'accuratezza del $92.29\%$ per la stima della posizione e del $98.4\%$ per il riconoscimento dei gesti.