A context independent algorithm for annotation aggregation in a crowdsourcing environment

In this work we present an abstract, reusable and context-independent algorithm for annotation aggregation. This algorithm can be instantiated by defining context-dependent operations on the specific annotation type. We analyze the state of the art in annotation aggregation and identify the main problems and propose solutions in order to deal with them. We analyze common annotation types an propose instantiations of the algorithm in this cases. ests performed on both synthetic and real datasets revealed a reduction up to 70%, with respect to standard approaches, in the number of required annotations given a predefined accuracy level.

In questo lavoro proponiamo un algoritmo astratto, riusabile e indipendente dal contesto per effettuare l'aggregazione di annotazioni, il quale può essere istanziato definendo delle operazioni dipendenti dal contesto e in particolare dal tipo di annotazione in esame. Viene effettuata un'analisi dello stato dell'arte per quanto riguarda l'aggregazione di annotazioni e un identificazione dei principali problemi legati a questa, proponendo delle soluzione in grado di gestirli. Verranno analizzate le tipologie di annotazione più comuni e verranno proposte istanze dell'algoritmo relative a questi particolari casi. I test svolti sia su dataset sintetici che reali hanno rilevato una riduzione fino al 70%, rispetto ad approcci standard, per quanto riguarda il numero di annotazioni necessarie per raggiungere un livello di accuratezza prefissato.