Techniques for mitigating the impact of latency in networked music performance (NMP) through adaptive metronomes

In the last decades, the streaming of audio and video data through the internet has considerably changed how we enjoy multimedia content and how we communicate and interact. Music is a fundamental part of the human existence under many aspects, however, it is still challenging to play together from separated locations, connected through a network. The research field of Networked Music Performance (NMP) aims at reducing the impact of the obstructing factors during the distance musical interaction. The latency of the network constitutes the main issue, since it creates a temporal separation between the actions of the musicians. This thesis was realized as part of the INTERMusic project, which has the goal of finding solutions for distance education and teaching in music. We explore some techniques of latency compensation through the presence of adaptive metronomes during the performance. The methodologies are designed for the NMP between two musicians, whose tempo is automatically retrieved during the execution through beat tracking. The three proposed methods deal with the information of the tempo of the musicians in different ways. The development of several systems allows us to explore different approaches and verify how the metronome can be integrated to the NMP without being predominant. We can differentiate the first method, called Single Beat Tracking (SBT) method, from the other two by the number of musicians whose tempo is tracked and used for the adaptive metronomes. The SBT method detects the tempo of one musician and applies the same approach of a master/slave system. The other two techniques perform the beat tracking on both musicians and use this information in distinct ways. In fact, one method applies the same scheme of the master/slave approach to both musicians, while the other method conceives the metronome as a common guide with a unified leading function. Two experiments have been conducted in order to test the methodologies. The results of the first experiment show some positive effects of the SBT method, although with some difficulties for the master/slave interaction of the musicians. The two methods based on the Double Beat Tracking have been just partially examined and further investigation is needed. The proposed techniques show promising results and can be developed for future progresses.

Negli ultimi decenni, lo streaming di dati audio e video attraverso la rete ha profondamente cambiato il modo in cui usufruiamo dei contenuti multimediali e in cui comunichiamo e interagiamo. La musica è una componente fondamentale dell’esistenza umana sotto vari aspetti, ma suonare insieme da luoghi diversi, connessi attraverso la rete, è ancora arduo. Il campo di ricerca riguardo Networked Music Performance (NMP) ha come obiettivo ridurre l’impatto dei fattori che ostacolano l’interazione musicale a distanza. La latenza della rete costituisce il problema principale, dal momento che crea una distanza temporale tra le azioni dei musicisti. Questa tesi è stata realizzata come parte del progetto INTERMusic, che ha lo scopo di trovare soluzioni per l’insegnamento a distanza della musica. Abbiamo esaminato alcune tecniche di compensazione della latenza grazie alla presenza di metronomi adattivi durante le esecuzioni musicali. I metodi sono progettati per una NMP tra due musicisti, il cui tempo è automaticamente estratto durante la performance attraverso il beat tracking. I tre sistemi proposti trattano l’informazione del tempo dei musicisti in modo diverso. Lo sviluppo di più metodi ci permette di esaminare approcci diversi e verificare il modo in cui integrare il metronomo alla NMP senza che sia predominante. Il primo metodo, chiamato Single Beat Tracking (SBT), si differenzia dagli altri due per il numero di musicisti di cui tracciare il tempo per i metronomi adattivi. Il metodo SBT rileva il tempo di un musicista e applica un approccio di tipo master/slave. Le altre due tecniche eseguono il beat tracking su entrambi i musicisti e utilizzano questa informazione in due modi diversi. Infatti, un metodo prevede lo stesso schema dell’approccio master/slave su entrambi i musicisti, mentre il secondo metodo concepisce il metronomo come una guida comune con una funzione di conduzione unificata dell’interazione. Sono stati condotti due esperimenti per testare i vari metodi. I risultati del primo esperimento mostrano alcuni effetti positivi del metodo SBT, anche se sono state riscontrare delle difficoltà nella corretta applicazione del sistema master/slave durante le performance. I due metodi basati sul Double Beat Tracking sono stati esaminati solo parzialmente e necessitano di ulteriori studi. Le tecniche proposte suggeriscono risultati promettenti e possono essere sviluppate per progressi futuri.