Building social graphs from images through automatic processing and human computation

The extraction of semantic information from multimedia content has always been representing a challenging problem. Despite the continuous refinement of automatic tools, the quality and completeness of the results is not always satisfactory. To overcome this limitations the computational power of humans can be exploited. In this thesis it will be discussed the design of a multimedia content processing pipeline, developed under the context of the European research project CUbRIK, which makes use of the human intervention to integrate and improve the results provided by automatic face detection and recognition tools and whose aim is to extract evidence of social relationships from the analysis of a collection of images covering the main events and people that shaped the history of Europe after World War II.

L’estrazione di informazioni da contenuto multimediale rappresenta da sempre un problema impegnativo. Nonostante le continue migliorie apportate agli strumenti automatici, la qualità e la completezza dei risultati non `e sempre soddisfacente. Per superare queste limitazioni il potere computazionale degli esseri umani può essere sfruttato. In questa tesi verranno mostrati il design e l’implementazione di una pipeline di processing di contenuto multimediale, sviluppata nell’ambito del progetto di ricerca europeo CUbRIK, in cui l’intervento umano viene utilizzato per integrare i risultati forniti da strumenti automatici di rilevamento e riconoscimento facciale e il cui obiettivo è di estrarre l’esistenza di relazioni sociali dall’analisi di una collezione di immagini che coprono i più importanti fatti e persone che hanno plasmato la storia dell’Europa dalla Seconda Guerra Mondiale in poi.