DynaTouch : a remote ray casting based interface with tactile feedback

In this work we present a novel human-computer interface that dynamically maps the user's view of a distant display screen onto a planar transparent surface that is within arm's reach. By mean of a color and depth camera, we are able to transform the planar surface into a touch sensitive working area, used to interact with the distant display. The surface acts as a touch-screen where the contact position corresponds to objects shown on the distant display along the user's visual line of sight. After a required calibration with an external display, the camera tracks the finger's motion on or near the touch-screen, as well as the user's head position. This combination allows the software-developed system to build the necessary correspondence between the touch-screen, the user's line of sight and the external display, so that the user interacts based on the objects he sees through the planar surface. This interface can be used effectively as a virtual touch surface for any external display, regardless of its size. This reveals to be particularly effective for high-resolution displays where, due to their large size, some areas are often not directly accessible. Besides, with our prototype we prove that it is possible to obtain reasonable results with cheap and widely available components, thus making it accessible also for non-professional users.

In questo lavoro presentiamo un'innovativa interfaccia uomo-macchina in grado di effettuare un mapping dinamico della visuale di un utente di uno schermo lontano su una superficie piana trasparente che è a portata di mano. Per mezzo di una camera a colori e di profondità, siamo in grado di trasformare la superficie planare in un'area di lavoro sensibile al tocco, utilizzata per interagire con lo schermo distante. La superficie agisce come un touch-screen, dove la posizione di contatto corrisponde agli oggetti visualizzati sul display lungo la linea visiva dell'utente. Dopo aver effettuato una necessaria calibrazione con il display, la camera è in grado rilevare il movimento del dito sulla o vicino la superficie di contatto, nonché la posizione della testa dell'utilizzatore. Questa combinazione permette al sistema sviluppato di calcolare la necessaria corrispondenza tra il touch-screen, la linea visiva dell'utente e lo schermo, in modo tale che l'utente interagisca in base agli oggetti che vede attraverso la superficie planare. Questa interfaccia può essere utilizzata come touch-screen virtuale per qualsiasi tipologia di display, indipendentemente dalle dimensioni. Ciò si rivela particolarmente efficace nel caso di un display ad alta risoluzione in cui, per via delle grandi dimensioni, alcune aree sono spesso non accessibili per un'interazione diretta. Inoltre, il nostro prototipo dimostra che è possibile ottenere risultati ragionevoli con componenti a basso costo e largamente disponibili, rendendolo così accessibile anche ad utenti non legati ad ambiti professionali.