On the use of fundamental frequency estimation for virtual bass enhancement

Due to their limited dimensions, small-size loudspeakers, such as those used in laptops and mobile devices, cannot accurately reproduce low frequencies. Virtual Bass Enhancement (VBE) systems have been thus proposed with the aim of increasing the bass perception taking advantage of the psychoacoustic effect of the missing fundamental. Thanks to such an effect, the human brain can perceive a pitch not only if it is really present in the audio track but also thanks to the periodicity of its higher harmonics. VBE algorithms are typically implemented in time-, frequency-, or hybrid time/frequency domains, and makes typically no use of deep learning-based methods. This work, instead, proposes a novel approach for accomplishing Virtual Bass Enhancement using a pre-trained Convolutional Neural Network for fundamental frequency estimation. Then, it shows how such information can be exploited, proposing three different processing pipelines. Finally, the performance of such algorithms is evaluated and compared to other techniques available in the literature by means of a perceptual test, pointing out the promising features of the proposed approach.

A causa delle loro dimensioni limitate, gli altoparlanti di piccole dimensioni, come quelli utilizzati nei computer portatili e nei dispositivi mobili, non sono in grado di riprodurre accuratamente le basse frequenze. Sono stati quindi proposti sistemi di Virtual Bass Enhancement (VBE) con l’obiettivo di aumentare la percezione dei bassi sfruttando l’effetto psicoacustico della fondamentale mancante. Grazie a tale effetto, il cervello umano può percepire una tonalità non solo se è realmente presente nella traccia audio, ma anche grazie alla periodicità delle sue armoniche superiori. Gli algoritmi VBE sono tipicamente implementati nel dominio del tempo, della frequenza o in sistemi ibridi tempo/frequenza e non fanno uso di metodi basati sul deep learning. Questo lavoro, invece, propone un approccio innovativo per realizzare il Virtual Bass Enhancement utilizzando una rete neurale convoluzionale pre-addestrata per la stima della frequenza fondamentale. Quindi, mostra come sfruttare tali informazioni, proponendo tre diverse pipeline di elaborazione. Infine, le prestazioni di tali algoritmi vengono valutate e confrontate con altre tecniche disponibili in letteratura mediante un test percettivo, evidenziando le promettenti caratteristiche dell’approccio proposto.