Managing human generated content for multimedia annotation

During the last few years, aided by the growth and evolution of the Web, which has shifted from a mere content delivery network, where the contents are just presented, to a collaborative and social tool, an exponential growth in the number of digital contents produced and shared has been observed. The improved active participation has allowed the rise of a new research field, called Human Computation, that studies how to organize the cognitive power of huge groups of people in order to solve computational problems (e.g. image classification, language translation, protein folding) that are still considered untractable by state of the art Artificial Intelligence algorithms. There are various genres of human computation applications that exist today, ranging from Games with a purpose (e.g., the ESP Game) that specifically target online gamers who generate useful data (e.g., image tags) while playing an enjoyable game, to Crowdsourcing marketplaces (e.g., Amazon MechanicalTurk) human computation systems that coordinate workers to perform tasks in exchange for monetary rewards. However, given the fact that the discipline is still in its infancy, several aspects have yet to be defined in a complete way: it cannot be found in literature a deep analysis of the tasks that can be assigned as jobs to the human performers and the existing architectures are usually proprietary, forcing the developers to rely on existing closed platforms or start the design of new application from scratch, given the fact that there are no general guidelines on the subject. In this thesis we are presenting a novel web service that permits the sharing of multimedia content and annotations among crowdsourcing applications; this could be used as an aid for the development of novel human computation applications without requiring the creation of dedicated backends just to perform common operations. In particular the efforts have been focused on the development of a human computation platform able to gather, store and manage users, multimedia content and their annotations, and to offer these resources to a range of heterogeneous applications, including social networks, gaming platforms and human computation markets. The major contributions of this work include the definition of a compact yet exhaustive model of the admissible human computation operations, the design of the architecture of a web service capable of supporting the aforementioned activities and the implementation of an infrastructure based on the previous specifications.

Nel corso degli ultimi anni, complice anche l'esplosione ed evoluzione del Web, che si è trasformato da una semplice rete di distribuzione dei contenuti a uno strumento sociale per la collaborazione, si è potuto osservare un esponenziale aumento del numero dei contenuti digitali prodotti e condivisi online dagli utenti. Proprio l'incremento della partecipazione attiva ha permesso l'avvento di un nuovo filone di ricerca, la Human computation, che si occupa di organizzare l'utilizzo delle capacità cognitive di grandi gruppi di persone per risolvere problemi computazionali (e.g. classificazione d'immagini, traduzione di linguaggi, folding di proteine) che risultano essere intrattabili per gli algoritmi di Intelligenza Artificiale (AI) correnti. Esistono svariati generi di applicazioni di Human Computation, dai Games with a purpose (e.g. Esp Game ), sviluppati specificatamente per generare annotazioni, ai Crowdsourcing marketplace (e.g. Amazon Mechanical Turk) in cui il lavoro degli utenti umani è coordinato per svolgere compiti in cambio di compensi monetari. Tuttavia, data la natura recente della disciplina, molti aspetti non sono ancora stati delineati in maniera completa: non è presente in letteratura un'analisi approfondita dei task che possono essere assegnati come compiti agli operatori umani e le architetture esistenti sono spesso proprietarie, forzando chiunque voglia sviluppare una propria applicazione in grado di sfruttare il contributo umano ad appoggiarsi a piattaforme chiuse già esistenti o dover effettuarne il design ex novo, data la mancanza di linee guida esistenti. In questa tesi viene presentato un web service in grado di permettere la condivisione di contenuti multimediali e annotazioni fra applicazioni di crowdsourcing e che possa essere utilizzato a supporto dello sviluppo di nuove applicazioni di human computation senza richiedere la creazione di backend dedicati per poter compiere operazioni ricorrenti. In particolare, lo sforzo è stato concentrato sullo sviluppo di una piattaforma di human computation in grado di raccogliere, immagazzinare e gestire utenti, contenuti multimediali e relative annotazioni da parte di uno spettro di applicazioni fra le più disparate, inclusi social network, piattaforme di gaming e human computation markets. I maggiori contributi di questo lavoro includono la definizione di un modello sintetico ma esaustivo per poter effettuare operazioni di human computation, il design dell'architettura di un web service in grado di supportare tali attività e l'implementazione di un'infrastruttura basata sulle specifiche definite precedentemente.