A novel music browsing framework : the AMBIF project

In recent years, great changes has involved music from a social and a technological point of view. The increase of the capacity of memory devices led an impressive increase of the size of both personal and industrial music repositories. This process brought the size of collections to a level where users get lost in their own music. From here comes the need of new browsing systems to help the user in finding suitable musical content. However, mainstream music browsers did not change that much and still rely only on lists of context-based metadata. This approach has many issues, the most important is that no information about the audio content is available. Music Information Retrieval (MIR) is the research field that deals with the retrieval of useful information from music content. It can also be applied to music browsing to provide a content-based music browsing experience. The purpose of this thesis is to propose a new framework to build hybrid content-based and context-based music browsers using a multidimensional space. We developed AMBIF (Advanced Music Browsing Interactive Framework) using Unreal Engine 4.7. It allows users to browse up to five song dimensions at the same time in a mixed content-based and context-based space. Each song in this space is represented by a spherical placeholder and its position and color depend on the song descriptors that the user chose. We proposed a music browser instance made with AMBIF that relies on content-based high-level music descriptors to 33 users and we evaluated its usability. The feedback was great and results are promising.

Negli ultimi anni grandi cambiamenti hanno coinvolto la musica da un punto di vista sociale e tecnologico. L'incremento della capacità di memoria dei dispositivi elettronici ha portato ad un aumento della dimenisone di collezioni musicali private e industriali. Questo processo ha portato le dimensioni delle collezioni musicali ad un livello tale per cui gli utenti si sentono persi nella loro stessa musica. Da qui nasce la necessità di un sistema di navigazione che aiuti gli utenti a trovare contenuto musicale adatto a loro. Tuttavia i più popolari music browser non sono cambiati poi molto e tuttora si basano su liste di metadati basati sul contesto. Questo approccio presenta molti problemi, uno su tutti è che non è disponibile alcuna informazione sul contenuto del file audio. Music Information Retrieval (MIR) è il campo di ricerca che si occupa di estrarre informazioni utili dal contenuto musicale. Può essere anche applicato alla navigazione di una libreria musicale per fornire un'esperienza di navigazione basata sul contenuto musicale. Lo scopo di questa tesi è proporre un nuovo framework per costruire un sistema di navigazione musicale in uno spazio multidimensionale secondo un approccio ibrido basato su contenuto e contesto. Abbiamo sviluppato AMBIF (Advanced Music Browsing Interactive Framework) con l'utilizzo di Unreal Engine 4.7. Questo sistema permette di navigare fino a cinque dimensioni di una canzone contemporaneamente in uno spazio basato su contenuto e contesto. Ogni canzone nello spazio è rappresentata da un segnaposto sferico la cui posizione e il cui colore dipendono dai descrittori della canzone che l'utene ha scelto. Abbiamo proposto un'istanza di AMBIF basata su descrittori di alto livello del contenuto musicale a 33 utenti e ne abbiamo valutato l'usabilità. Il riscontro è stato decisamente positivo e i risultati promettenti.