LiTouch : smart interface for user interaction on large screens

Interaction with large displays is an active area of research in Human Computer Interaction that focuses on how to optimize the interaction between users and information displayed around them by means of large screens. In our research, we have focused on touch interactive large displays, where users directly interact with multimedia contents by touching the surface on which they is displayed. The purpose of this thesis is to design, develop and evaluate a new technology that allows touch interaction on a large surface to overcome the limitations of the existing technologies. Such technology is integrated as a new module into the Magic Room technological platform, enabling multi-touch interaction with one or more walls inside the physical space. The technology developed in this thesis is called LiTouch. The system is composed of one or more lidar sensors, each one placed on a wall, which scan the points that intersect the video projections on the walls where they are installed. Each sensor is directly connected to one microcontroller that communicates through WiFi with the LiTouch middleware software. The latter analyzes all the acquired points in order to recognize different touch inputs in the area of interest of each sensor and it is able to control the start and stop of each device connected. The middleware exposes different APIs, allowing a client to connect to the system and receive the different recognized touch inputs. LiTouch transforms wall projections into interactive multitouch large displays and facilitates the development of immersive applications where interactive digital contents are integrated in the fabric of the physical space. The developers' work in LiTouch is supported by the availability of a gesture library for Unity, also developed in this thesis, that implements the recognition of a wide set of gestures. This library is released as a client component connected to the middleware. The overall LiTouch system is developed in a modular and scalar way in order to allow high flexibility in development and in future enhancements.

L'interazione con schermi di grandi dimensioni è un'area di ricerca nel campo della Human Computer Interaction che si focalizza su come ottimizzare l'interazione tra gli utenti e le informazioni visualizzate intorno ad essi attraverso questi grandi schermi. Nella nostra ricerca, ci siamo concentrati su schermi touch di grandi dimensioni, con i quali gli utenti interagiscono toccando direttamente sulla superficie dove sono visualizzate le informazioni. Lo scopo della nostra tesi è di progettare, sviluppare e valutare l'utilizzo di una nuova tecnologia che permetta l'interazione touch su grandi superfici, superando le limitazioni delle tecnologie già esistenti. Tale tecnologia deve essere integrata come nuovo modulo all'interno della Magic Room, permettendo l'interazione multi-tocco con uno o diversi muri all'interno della stanza. La tecnologia sviluppata in questa tesi è chiamata LiTouch. Il sistema è composto da uno o più sensori lidar, ognuno posizionato su un muro, che scansionano i punti che intersecano le video proiezioni sui muri dove sono installati. Ogni sensore è connesso direttamente ad un micro controller che comunica tramite WiFi con il middleware di LiTouch. Questo analizza tutti i punti acquisiti per poter riconoscere i differenti tocchi all'interno dell'area di interesse di ogni sensore e si occupa di controllare lo start e stop di ogni dispostivo connesso. Il middleware espone differenti APIs, permettendo ad un client di connettersi al sistema e ricevere i differenti tocchi riconosciuti. LiTouch dunque trasforma le video proiezioni sui muri in schermi interattivi multi-tocco e facilita lo sviluppo di applicazioni immersive che integrino i contenuti digitali con gli spazi fisici. Il lavoro degli sviluppatori che usano LiTouch è supportato dalla presenza di una libreria di gesture per Unity, anch'essa progettatata e sviluppata in questa tesi, che implementa il riconoscimento di un buon numero di gesture. Questa libreria è rilasciata come componente client del middleware. L'intero sistema LiTouch è stato sviluppato in maniera modulare e scalabile, al fine di consentire un'elevata flessiblità nello sviluppo e per miglioramenti futuri.