Human enhanced multimedia analysis and search

Recent years witnessed an explosion in the production of digital multimedia contents, especially on the Web, calling for efficient methods and tools for multimedia data management. Multimedia Information Retrieval is a mature discipline, devoted to study of the problems of multimedia processing and analysis. Despite the scientific advancements achieved in the last years, the automatic analysis of multimedia contents exhibits several limitations, mainly due to problems such as the semantic gap. On the other hand, the analysis and interpretation of multimedia contents (i.e., images, videos, audios, etc.) is well developed skills of human beings which are typically able to out-perform machines in several multimedia analysis tasks (e.g., object recognition). This observation led to renewed interest in exploiting Human Computation, i.e. the idea of using human e ort to perform tasks that computers cannot yet perform efficiently and correctly, to complement machines in their analysis tasks. This thesis presents a framework for the design and the development of human-enhanced Search-Based Applications (hSBA), a new class of multimedia data management systems that involves humans in the content analysis and search processes. First, we discuss the requirements introduced by the addition of humans in the analysis and search processes. Then, we present a modeling framework to describe the information and the processes that a hSBA should handle. We exemplify the usage of the framework by means of a use case developed within an European research project, describing its implementation in an industrial-strength framework for search based applications. Finally, we provide an evaluation on the application. Preliminary results show that the inclusion of humans in the loop contributes to a non-negligible improvement in the retrieval performances of the application.

Negli ultimi anni si è registrata una esplosione nella produzione di contenuti multimediali digitali, specialmente sul Web, con la conseguente necessita di strumenti e metodi sempre più efficienti per la gestione di dati multimediali. Multimedia Information Retrieval è ormai una disciplina consolidata, che studia i problemi legati al processamento e alla analisi di contenuti multimediali. Nonostante i progressi scientifici degli ultimi anni, i calcolatori mostrano limitazioni e difficoltà nell'analisi di contenuti multimediali, principalmente dovute a problemi come il cosiddetto "gap semantico". L'analisi e l'interpretazione di contenuti multimediali (come ad esempio immagini e filmati) è invece un'esperienza quotidiana per ogni essere umano. Grazie ai sensi e alle potenzialità del cervello, gli umani sono in grado di avere prestazioni migliori rispetto alle macchine nello svolgere questi compiti. Questa constatazione ha portato ad un rinnovato interesse per l'utilizzo della "computazione umana" (in inglese "Human Computation"), cioè l'idea di utilizzare il lavoro umano per eseguire operazioni che i calcolatori non sono ancora in grado di eseguire in modo efficiente, al fianco della computazione automatica. Questa tesi presenta un approccio per la progettazione e lo sviluppo di "human-enhanced Search-based Applications" (hSBA), una nuova classe di sistemi di gestione dati, che considera la computazione umana come elemento fondamentale per i processi di analisi e interrogazione di collezioni di documenti multimediali. All'interno dell'elaborato, vengono presentati i requisiti che vengono richiesti dalla presenza di esseri umani all'interno dell'architettura della hSBA. Vengono poi discussi i modelli necessari per descrivere i dati e i processi gestiti da una hSBA. Viene inoltre presentato un caso d'uso, sviluppato all'interno di un progetto di ricerca europeo, che esemplifica l'utilizzo dei modelli presentati e la sua implementazione in un'applicazione reale e funzionante. Infine, viene proposta una valutazione sull'implementazione del caso d'uso. I primi risultati sperimentali mostrano che l'introduzione della computazione umana nell'architettura del sistema porta ad un miglioramento non trascurabile delle prestazioni di ricerca del sistema stesso.