Modeling sound energy decay from musical recordings using differentiable feedback Delay Networks

Over the last decades, extensive research has been devoted to the design of artificial reverberation algorithms aimed at emulating the acoustic response of physical environments. Differentiable digital signal processing (DDSP) has recently been shown to be effective for optimizing the parameters of delay-network models, such as Feedback Delay Networks (FDNs), so that their output matches desired perceptual characteristics of a target room impulse response (RIR). In particular, automatic differentiation has been employed to drive gradient-based optimization of the FDN parameters, enabling the modeling of acoustic spaces with specific time-frequency sound energy decay. The iterative tuning process seeks to minimize perceptually-motivated loss functions, enabling accurate modeling of energy decay and echo density. Typically, such optimization relies on the availability of measured RIRs. However, obtaining accurate RIR measurements is not always feasible. Therefore, this work proposes an optimization framework for tuning the FDN parameters using musical recordings, which are commonly captured in live sound reinforcement scenarios. Experimental results show that the proposed method achieves performance comparable to RIR-based optimization, making it a valuable option for modeling real room acoustics.

Negli ultimi decenni, sono state condotte ricerche approfondite sulla progettazione di algoritmi di riverbero artificiale, con l'obiettivo di emulare la risposta acustica di ambienti fisici. L'elaborazione differenziabile di segnali digitali (Differentiable Digital Signal Processing, DDSP) si è recentemente dimostrata efficace nel determinare i parametri dei modelli a rete di ritardo, come le reti a ritardi in retroazione (Feedback Delay Network, FDN), in modo che la loro uscita abbia caratteristiche percettive simili alla risposta impulsiva (Room Impulse Response, RIR) di una stanza di riferimento. In particolare, la differenziazione automatica è stata impiegata per guidare metodi di ottimizzazione basati sul gradiente, al fine di modellare uno spazio acustico con uno specifico decadimento dell'energia sonora in tempo e frequenza. Il processo iterativo di ottimizzazione mira a minimizzare delle funzioni di perdita con caratteristiche percettive, consentendo una modellizzazione accurata del decadimento energetico e della densità degli echi. Tipicamente, tale ottimizzazione si basa sulla disponibilità di RIR misurate. Tuttavia, ottenere misurazioni accurate delle RIR non è sempre fattibile. Pertanto, questo lavoro propone un quadro di ottimizzazione per la regolazione dei parametri della FDN basato su registrazioni musicali, comunemente acquisite in contesti di rinforzo sonoro dal vivo. I risultati sperimentali mostrano che il metodo proposto raggiunge prestazioni paragonabili al processo di ottimizzazione basata su RIR, rendendolo un'opzione valida per la modellizzazione della reale acustica delle stanze.