Feeling the space: sensory substitution of visual information through electro-tactile feedback

Vision is the dominant modality for spatial perception in humans, but natural and engineered systems show that non-visual channels can support many spatial tasks when vision is reduced or absent. This thesis investigates whether spatial information normally acquired through vision can be communicated effectively and intuitively using only haptic channels, with a focus on electro-tactile stimulation as a compact, low-mechanical-overhead approach to sensory substitution. It also explores an innovative electro-tactile method that uses high-frequency carriers to reduce required stimulation voltages and improve comfort and safety. We developed a wearable electro-tactile system, structured as a glove with multiple electrodes driven by an ESP32 controller, and a minimal, arcade-style Virtual-Reality (VR) task in which players must detect, localize and discriminate virtual objects using only haptic feedback given by the glove, used as an “antenna” to scan the surroundings. The final system supports up to 16 electrodes, three concurrent finger-level animations, run-time parameter changes, and real-time control from a Unity VR application. The development followed an iterative pipeline that started with literature and empirical research and finished with a working wearable electro-tactile system, validated with user tests. For the development of the device and the task, we drew inspiration from non-visual animal models, the state of the art in haptic and sensory-substitution devices, a hands-on workshop and pilot tests. This thesis advances research on technologies for non-visual spatial tasks and on wearable devices that exploit low-voltage, low-power electro-tactile stimulation. It also lays the foundation for future research in the field, creating a framework that is easily modifiable, expandable, and integrable with other haptic sensations.

La vista è la modalità sensoriale predominante per la percezione spaziale negli esseri umani, ma il mondo animale e dispositivi tecnologici mostrano come l’uso di canali non visivi possa supportare numerosi task quando la vista è assente o ridotta. Questa tesi indaga se le informazioni spaziali normalmente acquisite tramite la vista possano essere comunicate in modo efficace e intuitivo esclusivamente tramite canali aptici, con una particolare attenzione alla stimolazione elettrotattile come soluzione compatta e a basso ingombro meccanico per la sostituzione sensoriale. Viene inoltre esplorato un approccio elettrotattile innovativo che, tramite l’uso di segnali ad alta frequenza, riduce le tensioni di stimolazione necessarie e migliorare comfort e sicurezza. Abbiamo sviluppato un sistema elettrotattile indossabile, strutturato come un guanto con molteplici elettrodi controllati da un modulo ESP32, e un semplice task in realtà virtuale (VR) simile ad un gioco arcade, nel quale i giocatori devono localizzare, trovare e distinguere oggetti virtuali usando solamente i feedback aptici dati dal guanto, usato come "un'antenna" per scandagliare lo spazio circostante. Il sistema finale supporta fino a 16 elettrodi, tre animazioni in contemporanea sulle dita, la possibilità di cambiare i parametri a runtime e il controllo in tempo reale da un’applicazione Unity per VR. Lo sviluppo ha seguito un processo iterativo che è partito da ricerche bibliografiche ed empiriche e si è concluso con la realizzazione di un sistema elettrotattile indossabile, convalidato tramite user study. Per lo sviluppo del dispositivo e del task abbiamo preso ispirazione da modelli animali non basati sulla vista, dallo stato dell’arte dei dispositivi aptici e di sostituzione sensoriale, da un workshop pratico e dai risultati di test preliminari. Questa tesi contribuisce alla ricerca sulle tecnologie per task spaziali non visivi e alla realizzazione di dispositivi indossabili che sfruttano stimolazioni elettrotattili a bassa tensione e basso consumo. Pone inoltre le basi per ricerche future nel campo, offrendo un framework facilmente modificabile, espandibile e integrabile con altre sensazioni aptiche.