TruDrum : achieving a verisimilar air drumming experience through haptics, microelectromechanical systems and machine learning

Music is a powerful form of art. It is a shared language capable of conveying emotions that transcend the realm of spoken communication. Many things, measurable and intangible, amount to the complexity of music as human expression. But, from the standpoint of music as a craft, technique is paramount. Tone quality, pitch, duration, dynamics and articulation are variables that must be skillfully controlled by the musician. All those characteristics can be somewhat traced back to one important thing that happens at the interface between musicians and their instruments: Gestures. Departing from the importance of gestures as input-output in music and focusing more specifically on percussion instruments, this thesis aims to conceptualize and develop a product that leverages the vast adoption of MEMS and the rise in the popularity of Haptic Technologies to create a verisimilar “air drumming” experience, that is, the experience of playing the drums without a physical drum set. The goal is to design - and possibly to prototype - a handheld electronic device capable of detecting drumming motions and responding not only with realistic sounds, but with a realistic rebound action, simulating the physical sensation of hitting drum pads. The hypothesis is threefold: Firstly, that the sole input from IMUs (Inertial Measurement Units) can be aided by Deep Learning algorithms to assess the user’s movements related to the virtual drum kit. Secondly, that a sudden shift in mass distribution caused by a mechanism inside the device can output a reaction force in a manner consistent with that felt in the drumsticks when playing the drums. And, lastly, that this gesture-based system can be used as a serious music making tool, allowing expressiveness through a set of already consolidated drumming techniques.

La musica è una potente forma d’arte. È un linguaggio condiviso capace di esprimere emozioni che sorpassano il campo della lingua parlata. Molte cose, concrete e astratte, contribuiscono alla complessità della musica come espressione umana. Però, dal punto di vista della musica come mestiere, la tecnica è una delle cose più importanti. Timbro, altezza, durata, dinamiche e articolazioni sono variabili che devono essere abilmente controllate dallo musicista. Tutte queste caratteristiche possono alquanto essere legate a un fenomeno saliente che capita sull’interfaccia tra i musicisti e i suoi strumenti: I gesti musicali. Partendo dalla importanza dei gesti come input-output nella musica e concentrandosi più specificamente sugli strumenti a percussione, lo scopo di questo elaborato è la concettualizzazione e lo sviluppo di un prodotto che profitta dell’ampio utilizzo di MEMS e tecnologie tattile di oggi per la creazione di una esperienza verosimile di “air drumming”, cioè, l’esperienza di suonare la batteria senza gli appositi attrezzi fisici tradizionali. L’obiettivo è disegnare - e possibilmente prototipare - un prodotto elettronico portatile capace di fare la detezione dei movimenti musicali e dare come risposta non solo suoni realistici ma anche una sensazione fisica convincente, simulando l’effetto di “rebound”. L’ipotesi si divide in tre aspetti: Prima, che l’input dai IMUs (Inertial Measurement Units) può essere aiutato dagli algoritmi di Deep Learning per valutare i movimenti dello musicista relativi alla batteria virtuale. Secondo, che una variazione nella distribuzione di massa all’interno del oggetto può creare una forza di reazione simile a quella sentita nelle bacchette vere. E, finalmente, che questo sistema basato sui gesti può essere utilizzato come un strumento sul serio, che permette l’espressività musicale attraverso tecniche di batteria già consolidate.