Beyond sound: expanding music accessibility through visual and haptic feedback with musictanvas

This thesis proposes a prototype application called MusicTanvas which integrates visualization and haptic feedback during the playback of an audio track in order to ease music perception for Deaf and Hard of Hearing individuals and to enhance musical experience. The prototypes makes use of the Tanvas device, based on electroadhesion haptic technology, which not only allows visual feedback but also gives users tactile sensation by sliding their fingers on the top of the Tanvas surface. MusicTanvas extract different audio features from the uploaded audio tracks by the users, and map them onto visual and haptic representations that dynamically changes during the tracks playback.

Questa tesi presenta il prototipo di un'applicazione chiamata MusicTanvas, che integra del feedback visivo e tattile alla riproduzione di brani audio, al fine di facilitare la percezione musicale per individui sordi e con disabilità uditive, e per migliorare l'esperienza musicale anche per persone normoudenti. L'applicazione utilizza il dispositivo Tanvas, basato sulla tecnologia tattile elettroadesiva, che non solo offre un feedback visivo, ma fornisce agli utenti anche una sensazione tattile mentre scorrono le dita sulla superficie del Tanvas. MusicTanvas estrae diverse proprietà audio dai brani caricati dagli utenti e le mappa su rappresentazioni visive e tattili che cambiano in modo dinamico durante la riproduzione dei brani.