PoliMotion : a gesture driven audio control system

The thesis project developed stems from the need to complete the PoliMotion, a gesture sensing system for musical applications consisting of three motion sensors which read the distance to the hand and transform it into a MIDI (Musical Instrument Digital Interface) event. This controller has been designed especially for those musicians who need to modify effects in an eye-catching and immediate way during a performance. Although the basic functions of the project, such as reading distances and interfacing the MIDI channel had already been implemented, it was far from a effective product, especially for the presence of the noise introduced by the sensors on reading distances due to which the parameters that the PoliMo sent out were not stable. During the implementation process, first of all, the programming of the software had to be completed with two additional functions. The first allowed the controller to receive input parameters, so as to change its status and the second was the design of the buttons that modify the preset functionality. We have therefore tried to solve the main problem of the measurements both on the software side and on the hardware side. As the prototype was already assembled, at first, an attempt was made to solve the error introduced by the previously installed sensors by means of different methods. Satisfactory results were obtained through the use of a naive algorithm which limited the error by discretizing the reading range into several levels. While searching for even better performance, we then proceeded to create a new prototype, from scratch, using different sensors with less and uniform noise. Thanks to this hardware choice, in the study of optimization algorithms, we had to face almost only the error introduced by the human factor. In the first part of the thesis, an overview of the gesture sensing controllers on the market and the reasons why the PoliMotion can represent a valid alternative to these will be presented. The discussion will then aim to underline the improvements made by the evaluated algorithms in order to achieve a proposal deemed effective.

Il progetto di tesi sviluppato nasce dall'esigenza di portare a compimento il PoliMotion, un sistema di sensing gestuale per applicazioni musicali formato da tre sensori di movimento che, una volta letta la distanza della mano, la trasformano in un evento MIDI (Musical Instrument Digital Interface). Questo controller è stato ideato soprattutto per quei musicisti, che durante un'esecuzione, hanno bisogno di modificare effetti in modo scenico e immediato. Sebbene le funzioni basilari del progetto, come la lettura delle distanze e l'interfacciamento del canale MIDI, fossero state implementate, si era lontani dall'avere un prodotto utile, soprattutto per la presenza del rumore introdotto dai sensori sulla lettura delle distanze; in questo modo i parametri che il PoliMo mandava in uscita non erano stabili. Durante il percorso implementativo si è dovuto, innanzitutto, terminare la programmazione del software con l'aggiunta di funzioni, che permettessero al controller di ricevere parametri in ingresso, in modo da cambiarne lo stato e rendere funzionanti i pushbutton che ne modificano il preset. Si è, quindi, cercato di ovviare al problema principale delle misure sia dal lato software che dal lato hardware. Essendo il prototipo già assemblato, in un primo momento, si è tentato di risolvere l'errore introdotto dai sensori già montati su quest'ultimo con diverse soluzioni. In questo caso si sono ottenuti risultati soddisfacenti mediante un algoritmo naive che ne andava a limitare l'errore tramite la discretizzazione del range di lettura in più livelli. Nella ricerca, per avere una performance sempre migliore, si è, poi, proceduto a creare un nuovo prototipo, da zero, utilizzando sensori diversi rispetto ai primi, con un rumore minore e costante. Grazie a questa scelta Hardware, nello studio degli algoritmi di ottimizzazione, si è dovuto far fronte quasi solamente all'errore introdotto dal fattore umano. Nella prima parte della Tesi verrà presentata una panoramica dei controllori di sensing gestuale presenti sul mercato e le ragioni per cui il PoliMotion possa rappresentare una valida alternativa a questi. La trattazione, poi, mirerà a sottolineare i miglioramenti apportati dagli algoritmi valutati fino ad avanzare una proposta ritenuta efficace.