A personalised content-based music similarity function

Modeling music similarity is useful for a great variety of applications in everyday life: music recommendation, thematic playlists generation and music libraries organization are just some examples. The main goal is to find a method to automatically evaluate how much two generic audio tracks are similar. If we think this task to be performed by a human, it could appear trivial at first. However, translating it to an algorithm that is able to model the concept of music similarity is much harder. Many approaches have been proposed in literature in order to address this problem, but they do not consider that similarity is an extremely subjective concept. Each user might show different interpretations, according to factors such as country, age, cultural level, music attitude and musicological background. Moreover, many of these methods ground on linear models, while the human perception is in general strongly non-linear. In this thesis, we devise an adaptive non-linear method to model the concept of music similarity. Our system collects similarity evaluations from each user, and exploits these data to fit personalized similarity functions. To this end, we exploit the content-based information inherently contained in music tracks, modeled by means of suitable low-level features. We rely on two strongly consolidated techniques: Multidimensional Scaling (MDS), a feature embedding method, and Support Vector Regression (SVR), a robust regression approach that can be made non-linear by using suitable kernel functions. The result is a novel system that is able to learn the similarity concept as it is perceived by each user, thus providing more accurate and user-tailored evaluations. Moreover, we will verify that people tend to impute different relevance to the features we use to model songs. This fact proves that similarity is subjective, and that the personalization approach is definitely relevant in systems based on music similarity.

Modellare la similarità musicale ha svariate utili applicazioni nella vita di tutti i giorni: raccomandazione di brani musicali, generazione di playlist tematiche, organizzazione di librerie digitali sono soltanto alcuni esempi. L'obiettivo principale è sviluppare un metodo per valutare in maniera automatica quanto due generiche tracce audio sono simili tra loro. Questa operazione può apparire banale se la si pensa eseguita da un essere umano. Tuttavia, tradurla in un algoritmo che sia in grado di modellare il concetto di similarità musicale è molto più complesso. In letteratura diversi approcci sono stati proposti per cercare di indirizzare questa problematica. Tuttavia, queste tecniche non tengono conto del fatto che la similarità è un concetto estremamente soggettivo. Ogni utente potrebbe averne una diversa e personale interpretazione, a seconda di fattori quali nazionalità, età, livello culturale, attitudine alla musica e background musicologico. Inoltre, molti di questi metodi si basano su modelli lineari, mentre è risaputo che la percezione umana è in generale fortemente non lineare. In questa tesi proponiamo un metodo adattivo non lineare per modellare il concetto di similarità musicale. Il nostro sistema raccoglie dati da ciascun utente e li utilizza per identificare funzioni di similarità personalizzate. Per fare ciò, modelliamo innanzitutto il contenuto acustico presente in maniera intrinseca nelle tracce musicali per mezzo di apposite feature di basso livello. Facciamo inoltre uso di due tecniche ampiamente consolidate: Multidimensional Scaling (MDS), un metodo di feature embedding, e Support Vector Regression (SVR), un robusto algoritmo di regressione che può essere reso non lineare utilizzando apposite funzioni kernel. Il risultato è un sistema innovativo che è in grado di apprendere il concetto di similarità di ogni utente, fornendo di conseguenza valutazioni accurate e basate sull'utilizzatore. Inoltre, verificheremo che le feature utilizzate per modellare i brani musicali assumono un diverso peso nella valutazione della similarità e che questi pesi tendono a variare per ogni utente del sistema. Questo fatto ci consentirà di provare che la similarità musicale è realmente soggettiva, e che tener conto di ciò garantisce sostanziali migliorie nei sistemi che la modellano.