NetMusic3D: implementation and test of an immersive networked music performance system

Immersive Network Music Performances (INMP) systems allow remote collaborations between musicians in 3D audio environments. A low-latency transmission is required for synchronization and the preservation of spatial audio is critical to ensure realistic and immersive experiences for musicians. This thesis presents NetMusic3D, a novel software framework designed for real-time INMP, enabling the transmission of multi-channel, spatialized audio — including Ambisonics formats — with low latency and high configurability. Implemented using the Corelink framework and the JUCE development environment, the system supports up to 64 audio channels, multiple compression methods (LZMA, Opus), dynamic jitter buffering, and clock drift compensation via real-time resampling. A web-based graphical user interface facilitates rapid configuration, parameters selection and monitoring. The software was validated through a series of technical tests (latency measurements, jitter handling in remote setups, and clock drift compensation), as well as a perceptual evaluation study involving two musicians performing under controlled network conditions. The results demonstrate that the system can maintain a one-way software latency below 5ms in ideal scenarios and offers acceptable synchronization at latencies under 30-50ms, aligning with existing research in the field. With future developments possibly focusing on packet loss concealment, adaptive parameter tuning, and further optimizations for scalability, this thesis proposes a versatile INMP framework that could serve as a foundation for future studies in remote music collaboration and immersive audio systems.

I sistemi di Immersive Network Music Performances (INMP) permettono collaborazioni remote tra musicisti in ambienti audio 3D. Una trasmissione a bassa latenza e la conservazione dell'audio spaziale sono necessarie per garantire esperienze realistiche e immersive ai musicisti. Questa tesi presenta NetMusic3D, un nuovo framework INMP che consente la trasmissione di audio multicanale e spazializzato - compresi i formati Ambisonics - con bassa latenza ed elevata configurabilità. Implementato utilizzando il framework Corelink e l'ambiente di sviluppo JUCE, il sistema supporta fino a 64 canali audio, diversi metodi di compressione (LZMA, Opus), buffering dinamico del jitter e compensazione della deriva del clock tramite ricampionamento in tempo reale. Un'interfaccia grafica basata sul web facilita la configurazione, la selezione dei parametri e il monitoraggio. Il software è stato convalidato attraverso una serie di test tecnici (misurazioni della latenza, gestione del jitter in configurazioni remote e compensazione della deriva del clock) e uno studio di valutazione percettiva in condizioni di rete controllate che ha coinvolto due musicisti. I risultati dimostrano che il sistema è in grado di mantenere una latenza software unidirezionale inferiore a 5ms in scenari ideali e offre una sincronizzazione accettabile a latenze inferiori a 30-50ms, allineandosi con le ricerche esistenti nel campo. Con sviluppi futuri che potrebbero concentrarsi su tecniche di mitigazione della perdita di pacchetti, sulla regolazione adattiva dei parametri e su ulteriori ottimizzazioni per la scalabilità, questa tesi propone un framework INMP versatile che può servire come base per studi futuri sulla collaborazione musicale a distanza e sui sistemi audio immersivi.