Real time AI musical instrument driven by dance: semantic mapping between movement and sound

This thesis presents the work carried out at fuse*, an artistic studio in Campogalliano (MO), on the design, implementation, and evaluation of a novel real-time AI musical instrument driven by dance. The project was motivated by the studio’s artistic need for a tool to be used in live scenarios, enabling dancers to explore new soundscapes and blend sounds through movement. Designing such an instrument poses significant challenges. Real-time audio generation, adaptability across different systems, and the flexibility required in creative contexts are already demanding tasks. Moreover, existing interactive instruments often rely on limited mappings between dance and music, resulting in unexpressive outcomes. Addressing these limitations requires methods that connect low-level and high-level dance features to audio characteristics, while ensuring reliability, artistic flexibility, and real-time operation. To solve this challenge our instrument employs a dual mapping strategy to link both high-level and low-level features in the dance to music features in the RAVE’s latent space, and thanks to the integration of FluCoMa, it enables smooth musical and timbral variations that follow the performers’ artistic intentions. Our research process was iterative, characterized by successive phases of study, design, implementation, and testing with dancers. This methodology enabled us to test multiple alternatives, starting from the use of priors, exploring style transfer, and attempting other approaches, until reaching the proposed system. In the final stage of the research, we conducted additional technical tests that demonstrated the adaptability of our instrument across different contexts, as well as its ability to operate in real time, with an average measured latency of 2.01 ms. The artistic evaluations confirmed the expressive potential of the instrument to expand creative possibilities and enrich performances. Our work contributes to research by presenting a flexible and reliable instrument, capable of real-time operation, and opening new directions in the development of automatic semantic translation systems between movement and sound using deep learning technologies.

Questa tesi presenta il lavoro di ricerca svolto presso fuse*, studio artistico a Campogalliano (MO) riguardante il design, l’implementazione e la valutazione di uno strumento musicale innovativo che sfruttando l’AI permetta di generare musica basandosi sulle espressioni artistiche della danza. La realizzazione di questo progetto è motivata dalla necessità artistica dello studio di avere uno strumento che permettesse ai ballerini di esplorare nuovi spazi sonori. Sviluppare uno strumento di questo tipo pone però delle sfide impegnative. La generazione audio in tempo reale, l’adattabilità a diversi sistemi e la flessibilità richiesti dal contesto creativo rappresentano già di per se delle sfide. Inoltre gli strumenti interattivi già esistenti spesso non forniscono un’adeguata mappatura espressiva tra danza e musica. Affrontare queste problematiche richiede un metodo che possa connettere parametri di alto e basso livello della danza alle caratteristiche audio, garantendo inoltre l’affidabilità del sistema, il funzionamento in tempo reale e la sua flessibilità a scopo artistico. Per risolvere questi problemi, lo strumento da noi proposto sfrutta l’utilizzo di una strategia duale di mappatura di caratteristiche di alto e basso livello della danza a posizioni all’interno dello spazio latente di RAVE, e, grazie all’integrazione di FluCoMa, permette di creare delle variazioni musicali e timbriche morbide che seguano l’intenzione dei ballerini. Il nostro processo di ricerca è stato di tipo iterativo, caratterizzato dal susseguirsi di fasi di studio ,design, implementazione e test con i ballerini, permettendo di testare più tecniche. Al termine della ricerca ulteriori test tecnici hanno dimostrato l’adattabilità del nostro strumento e la capacità di lavorare in tempo reale, con una latenza misurata mediamente di 2.01ms. I test artistici hanno dimostrato le potenzialità dello strumento nell’espandere le possibilità artistiche dei ballerini. Il nostro lavoro contribuisce alla ricerca portando uno strumento flessibile, affidabile e a bassa latenza che apre nuove strade nell’ambito dei sistemi automatici di traduzione semantica tra movimento e suono usando reti neurali profonde.