SMAD. A system for multimodal assistive domotics

During the last decades there has been major growth in the application of technology for assisting persons with disabilities. The main goal is to alleviate their discomfort in a variety of tasks, mainly routine activities, by providing more self-sufficiency and reduce the dependency on external help. A large part of everyday life is spent at home. The use of common home accessories seems perfectly natural to most of people; nevertheless, it could require a lot of time and effort for individuals with motor disabilities. Therefore, supporting persons with mobility impairments when at home would be very valuable. Several technologies originally developed in medical area are now employed in the context of assisting individuals with motor disabilities. Examples of this are Electromyography (EMG), Electrooculography (EOG) and Electroencephalography (EEG). Such techniques can drive the development of interfaces for Human-Computer Interaction (HCI) in order to supply the subject with useful and rehabilitating technological tools. In this work, an assistive system called SMAD is presented to control home devices from a wheelchair through biological signals such as EMG and EEG. The wheelchair monitor will display a menu through which the user will select the desired device and operate it. Albeit in the literature there are plenty of approaches to use biological signals in Human-Computer Interaction, many of them lack in realizing a tool that would be usable at home by an average user with disabilities. SMAD focuses on end-user features such as ease of setup and use as well as low cost and customizability. Moreover, unlike many approaches in literature, the functional design of the interface has been driven by an user-centered performance analysis. Additionally, the system has been conceived to be adaptable to the user's degree of disability. This means that, if she still presents muscle voluntary control skills, they should be exploited. Two scenarios are presented, using respectively EMG/EOG and EEG. Nevertheless, it will be possible to implement a different technique just plugging the new component into the system, exploiting the rest of the architecture with no effort. Experimental results show satisfying performance for both EMG/ EOG and EEG cases. Offine analyses exhibited very reliable and fast identification of user intention. After offine analyses, the system has been tested in realistic online sessions. The user succeeded in employing SMAD to operate home devices, simulating common needs of persons with disabilities. In conclusion, the main contributions of this work are: - Realizing an assistive system that employ various biological signals in order to help persons with motor disabilities to handle home accessories from a wheelchair. - Designing an interface based on performance from the end-user point of view and proposing it as a basic block to implement different kinds of control paradigms.

Negli ultimi decenni si è assistito ad una sensibile crescita nell'applicazione di nuove tecnologie per l'assistenza alle persone con disabilità. L'obiettivo principale è di alleviare il disagio nello svolgere diverse azioni, soprattutto quotidiane, fornire maggiore autosufficienza e ridurre la dipendenza dall'aiuto esterno. Gran parte della vita di tutti i giorni si svolge a casa. L'uso dei comuni accessori casalinghi sembra perfettamente naturale alla maggior parte delle persone; tuttavia, può richiedere molto tempo e impegno per individui con disabilità motorie. Di conseguenza, supportare tali persone quando sono nella propria casa sarebbe molto apprezzato. Varie tecnologie, sviluppate originariamente in campo medico, sono ora impiegate nell'assistenza a portatori di handicap motori. Troviamo esempi come Elettromiografia (EMG), Elettrooculografia (EOG) e Elettroencefalografia (EEG). Queste tecniche possono essere adottate nello sviluppo di interfacce per l'interazione uomo-computer (Human- Computer Interation o HMI) di modo da dotare il soggetto di uno strumento tecnologico utile e riabilitante. In questa tesi, viene presentato un sistema assistivo chiamato SMAD per controllare dispositivi casalinghi da una sedia a rotelle, mediante segnali biologici come EMG e EEG. Il monitor della sedia visualizzerà un menu attraverso il quale l'utente potrà selezionare il dispositivo desiderato e azionarlo. Sebbene in letteratura si trovi un'abbondanza di approcci che utilizzano segnali biologici nell'interazione uomo-computer, molti di questi peccano nella realizzazione di strumenti che possano essere utilizzati da un comune utente disabile nella propria casa. Questa tesi, invece, si concentra su proprietà orientate all'utente finale come facilità di installazione e uso, basso costo e personalizzabilità. Inoltre, a differenza di molti approcci in letteratura, il progetto funzionale dell'interfaccia è stato guidato da un'analisi di prestazioni centrata sull'utente. In aggiunta, il sistema è stato concepito per essere adattabile al grado di disabilità dell'utente. Ciò significa che le restanti capacità di controllo volontario dei muscoli possono essere sfruttate. Sono presentati due scenari, usando rispettivamente EMG/EOG e EEG. Per impartire comandi e quindi azionare dispositivi, il primo conta su gesti facciali e movimenti degli occhi, mentre il secondo necessita solo che l'utente fissi degli stimoli pulsanti sullo schermo. Allo stesso modo, è possibile sviluppare difierenti tecniche di controllo e semplicemente inserire il nuovo componente nel sistema, utilizzando il resto dell'architettura senza necessità di ulteriore adattamento. In conclusione, i principali contributi sono: - Realizzare un sistema assistivo che impieghi vari segnali biologici per assistere persone con disabilità motorie nell'uso di accessori casalinghi. - Permettere che il sistema sia utilizzabile senza addestramento e senza costi o tempi di sistemazione proibitivi, dato che è impiegato un dispositivo di cattura dei segnali economico e facile da usare. - Progettare un'interfaccia basata sulle prestazioni dal punto di vista dell'utente e proporre quest'ultima come componente di base per implementare vari tipi di paradigmi di controllo. Entrambi gli approcci di interazioni presentati sono stati testati in sessioni sperimentali. I risultati ottenuti sono stati pienamente soddisfacenti. Per quanto riguarda il controllo per mezzo di movimenti del viso e degli occhi, l'esito dei test effettuati con otto soggetti senza disabilità ha dimostrato che, tramite il sistema, è possibile esprimere da 14 a 53 bits di informazione al minuto. Quattro soggetti hanno partecipato agli esperimenti impiegando la modalità relazionata all'attività cerebrale. I risultati indicano che anche questo tipo di interazione è pienamente utilizzabile, potendo esprimere fino a 15 bits al minuto.