Exploring novel interaction strategies in live music performances based on muscle signals and deep learning

The objective of this paper is to propose an innovative interaction method based on the conjunction of electromyographic signals and deep learning analysis, integrated into a Digital Musical Instrument for guitarists. This interaction strategy exploits the correlation between the musicians' emotional state and their muscular activity, monitored using surface Electromyography (sEMG) wearable sensors. Our method investigates how to effectively convey emotions by dynamically tracking musical intentions through an analysis of muscular contractions, adapting the guitar sound accordingly. To accomplish this, a Recurrent Neural Network (RNN) based on Bidirectional Long-Short Term Memory (BLSTM) has been developed to interpret sEMG signals. The musicians provide their gestural vocabulary, each associated with a corresponding pedalboard sonic preset, this association is used to train the gesture classification network. A dataset of sEMG acquisitions related to various guitar techniques has been created and will be published to support similar applications. The selection and testing of the most effective combination of features in synergy with different muscular groups have been conducted to optimize the learning rate of the gesture recognition model. The digital signal processing is carried out with the visual programming language Max/Msp 8. Finally, an evaluation strategy has been presented, involving the collection of feedback from an expert guitarist through a questionnaire. The goal of this work is to help other researchers integrate muscle signals into artistic performance through an innovative protocol for mapping sEMG with sound.

Il seguente lavoro presenta lo sviluppo di un medotodo d'interazione innovativo che sfrutta la correlazione tra lo stato emotivo dell'artista e la sua attività muscolare, tramite l'utilizzo di sensori indossabili basati sullelettromiografia di superficie (sEMG). E' stato progettato un protocollo per tracciare dinamicamente le intenzioni musicali di un chuitarrista, adattando il suono della chitarra in tempo reale per trasmettere efficacemente le intenzioni sonore del musicista. A tal fine, viene sviluppata una rete neurale ricorrente (RNN) basata un una rete bidirezionale (BLSTM) per interpretare il segnale muscolare. Per addestrare il modello di classificazione dei gesti, il musicista fornisce esempi gestuali, assocaindone ogni uno ad un corrispondente preset sonoro della pedaliera. E stato creato un dataset di acquisizioni sEMG relative a varie tecniche chitarristiche, che sarà pubblicato a supporto di future applicazioni. La selezione della migliore combinazione tra caratteristiche del segnale ( i.e features) con diversi gruppi muscolari, ha permesso di ottimizzare il tasso di apprendimento del modello di riconoscimento dei gesti. L'elaborazione del segnale digitale viene effettuata con Max/Msp. Infine, viene presentata una strategia di valutazione basata su un questionario per la raccolta di feedback. L'obiettivo finale di questo lavoro è quello di aiutare altri ricercatori nell'introduzione dei segnali muscolari come mezzo di interazione durante performance artistiche.