Video recommendation by exploiting the multimedia content

VIDEO recordings are complex media types. For example, when we watch a movie, we can effortlessly register a lot of details conveyed to us (by the author) through different multimedia channels, in particular, the audio and visual channels. To date, the majority of content- based movie recommender systems (CBMRS) base their recommendations on metadata (e.g., editorial metadata such as genre or wisdom of the crowd such as user-generated tags) since they are human-generated and are as- sumed to cover the ‘content semantics’ of movies by a great degree. Multimedia features, on the other hand, provide the means to identify videos that ‘look similar’ or ‘sound similar’. These discerning characteristics of heterogeneous feature sets meet users’ differing information needs. In the context of this PhD thesis, methods for automatically extracting video-related information from the multimedia content (i.e., audio and visual channels) have been elaborated, implemented, and analyzed. Novel techniques have been developed as well as existing ones refined in order to extract useful information from the video content and incorporate them in recommendation systems. Different video recommendation tasks are solved using the extracted multimedia information under recommendation models based on content-based filtering (CBF) models and the ones based on combination of CBF and collaborative filtering (CF). As a branch of recommender systems, this thesis investigates a particular area in the design space of recommender system algorithm in which the generic recommender algorithm needs to be optimized in order to use a wealth of information encoded in the actual image and audio signals. The results and main findings of these assessments are reported via sev- eral offline studies or user-studies involving real users testing a prototype of developed movie recommender systems powered by multimedia content. The results are promising and show different scenarios in which multimedia content can be leveraged for successful video recommendation outperform- ing the alternatives, most notably in new-item settings.

Le registrazioni VIDEO sono tipi di media complessi. Ad esempio, quando guardiamo un film, possiamo facilmente registrare molti dettagli trasmessi a noi (dall'autore) attraverso diversi canali multimediali, in particolare i canali audio e video. Ad oggi, la maggior parte dei sistemi di raccomandazione dei video basati sul contenuto (CBMRS) basano le loro raccomandazioni sui metadati (ad esempio, metadati editoriali come il genere o la saggezza della folla come i tag generati dall'utente) poiché sono generati dall'uomo e sono as- è stato utilizzato per coprire la "semantica dei contenuti" dei film in larga misura. Le funzionalità multimediali, d'altra parte, forniscono i mezzi per identificare i video che 'sembrano simili' o 'suonano simili'. Queste caratteristiche perspicaci di set di funzionalità eterogenee soddisfano le diverse esigenze di informazione degli utenti. Nel contesto di questa tesi di dottorato, sono stati elaborati, implementati e analizzati i metodi per estrarre automaticamente le informazioni video dal contenuto multimediale (cioè canali audio e video). Sono state sviluppate nuove tecniche e perfezionate quelle esistenti per estrarre informazioni utili dai contenuti video e incorporarle nei sistemi di raccomandazione. Diverse attività di raccomandazione video vengono risolte utilizzando le informazioni multimediali estratte sotto i modelli di raccomandazione basati sui modelli di filtro basato sul contenuto (CBF) e quelli basati sulla combinazione di CBF e filtro collaborativo (CF). Come una branca di sistemi di raccomandazione, questa tesi indaga su una particolare area nello spazio di progettazione dell'algoritmo del sistema recommender in cui l'algoritmo del recommender generico deve essere ottimizzato per utilizzare una ricchezza di informazioni codificate nell'immagine reale e nei segnali audio. I risultati e i risultati principali di queste valutazioni sono riportati attraverso diversi studi offline o studi utente che coinvolgono utenti reali che testano un prototipo di sistemi di raccomandazione cinematografica sviluppati alimentati da contenuti multimediali. I risultati sono promettenti e mostrano diversi scenari in cui i contenuti multimediali possono essere sfruttati per una raccomandazione video di successo che superi le alternative, in particolare nelle impostazioni di nuove voci.