Achieving quality in crowdsourcing through task design and assignment

Crowdsourcing, i.e., the assembling of strangers to accomplish a task, has the potential to revolutionize the way people work on the web. The promotion of crowdsourcing initiatives allows companies to easily collect and compound contributions in a distributed fashion, while letting individuals work and earn without the need for a physical working place or pre-existing employment contracts. Thanks to its high flexibility, crowdsourcing is gain- ing a more prominent role in both the industry and academia, and it has been estimated that companies have the potential to crowdsource more than 300 billion USD of work worldwide. As the number of organizations em- bracing crowdsourcing is increasing, crowd workers are likely to become a limited resource. An important issue is therefore to understand how to obtain, retain and persuade a crowd to contribute. In this work, we are es- pecially interested in understanding which mechanisms are effective for eliciting high quality contributions from the crowd. Our approach is twofold. On the one hand, we focus on how a careful task design can help improve quality of contributions. We present a characterization of the design space of crowdsourcing tasks, and we then contrast the capabilities offered by the commercially-available platforms against the proposed characterization. On the other hand, we turn our attention to the problem of assigning tasks to crowd workers. In this respect, carefully considering workers’ accuracy has already proved to be the key enabler for increasing task quality. We therefore propose a task assignment policy to support the assignment of tasks in relation to crowd workers’ abilities, under the assumption that workers may exhibit varying accuracy depending on their workload. We validate our findings through an extensive experimental phase. Specifically, we conduct experiments with the aim of verifying which task design dimensions affect the quality of the outcome. Moreover, we offer empirical evidence of the existence of a fatigue/learning phenomenon among workers, and we extensively validate the proposed task assignment procedure against both synthetic and real data.

Il crowdsourcing, ossia la pratica di affidare la realizzazione di un task ad un insieme indefinito di persone (crowd), ha il potenziale per rivoluzionare il modo in cui le persone lavorano su web. L’utilizzo del crowdsourcing permette alle aziende di raccogliere e aggregare contributi in maniera totalmente distribuita, e ai lavoratori (crowd worker) di guadagnare senza la necessità di un luogo di lavoro fisico o di una particolare forma contrattuale. Grazie a tale flessibilità, il crowdsourcing si sta affermando sia nel settore industriale che in quello accademico, ed è stato stimato che, a livello globale, le diverse aziende abbiano il potenziale per esternalizzare task in crowdsourcing per un valore complessivo di 300 miliardi di dollari. Con l’aumento del numero di aziende che decidono di utilizzare il crowdsourcing, i crowd worker rischiano però di diventare una risorsa limitata. Una questione importante è dunque quella di comprendere come riuscire ad ottenere, preservare e persuaduare la crowd a contribuire. In particolare, questo lavoro di tesi si focalizza sulla studio di quali meccanismi siano efficaci per far sì che la crowd fornisca contributi di alta qualità. L’approccio seguito è duplice. Da un parte, ci si concentra su come una attenta progettazione dei task possa aiutare a migliorare la qualità dei risultati. In tal senso, viene presentata una caratterizzazione dello spazio di design dei task di crowdsourcing, che viene poi messa a confronto con le capacità delle piattaforme attualmente presenti nel mercato. Dall’altra parte, si pone l’attenzione sul problema di come assegnare i task ai crowd worker. A questo proposito, l’ipotesi di una diversa accuratezza tra i lavoratori si è già rivelata essere un’assunzione fondamentale per riuscire ad aumentare la qualità dei risultati. Alla luce di ciò, viene proposta una politica di assegnamento dei task che tenga in conto dei diversi livelli di abilità dei lavoratori, sotto l’ipotesi che questi possano esibire valori di accuratezza varibili e dipendenti dal loro attuale carico di lavoro. Un’ampia sezione sperimentale va a supportare tali supposizioni. In particolare, sono stati condotti esperimenti al fine di identificare quali fattori della progettazione di un task possano influenzare la qualità del risultato. Inoltre, si è verificata l’esistenza di un fenomeno di affaticamento/apprendimento tra i lavoratori. In ultimo, la politica di assegnamento proposta è stata estensivamente validata utilizzando dati sia sinteticamente generati che provenienti da crowd reali.