Human computation is a research area that focuses on exploiting human intelligence to solve computational problems that are beyond the capacity of existing Artificial Intelligence (AI) algorithms. The growth of the Web and Social Networks provides a massive amount of persons that can be leveraged to perform complex tasks, but a fundamental issue in exploiting the contribution of crowds is how to engage the potential users for the specified purposes and how to ensure the quality of their contribution. To overcome the problem, a set of approaches have been developed; Games with a Purpose (GWAP) are digital games in which the players' actions in the game contribute to a real-world purpose outside of the game, whether it be predicting protein structures or providing labels for images. The standard way to accomplish the same type of work is to “crowdsource” the work directly using a service like Amazon Mechanical Turk in which contributors are paid as workers. To address the lack of extrinsic motivation that plagues traditional human computation platforms, GWAP provide intrinsic motivation in the form of entertainment. Many GWAP have been developed since the release of the first instance, the ESP Game in 2003. But not all GWAP seem to have lived up to the initial hype of transforming millions of hours typically poured into traditional games into useful and productive work. The problem that GWAP have faced since their inception is related to the fact that the very fundamental mechanisms on which they rely on, to guarantee the quality of the submitted results, have been considered as “Game Mechanics” while in reality they are simply validation mechanisms. For this reason, even the most famous GWAP were centered on experiences that aimed at maximizing the throughput of high quality submitted content instead of focusing on the entertainment dimension typical of other digital games, producing applications that were perceived as “non games” by their users. As it happened with GWAP, gamification, the process of using game design techniques and game mechanics to enhance traditional applications, has been able to accomplish significative results but also catastrophic failures. Once again, this phenomenon has to be attributed to poor design due to the lack of guidelines and best practices to support the development. The main reason is the inherent difficulty of the design of both GWAP and gamified applications, which resides in the tradeoff between purposiveness and playfulness: in a traditional application, the improper insertion of gaming elements may result artificial and thus not produce the desired engagement effects, while on the contrary spoiling the user’s productivity, symmetrically in a GWAP the task to be solved may mismatch with the game mechanics, thus decreasing the “playability” of the game and failing to attract people and engage them in the execution of the task. Another common challenge of human computation systems is data reliability. Humans are expected to be unreliable, especially in ludic environments where a playful interaction with the system to test its borders is expected. Therefore, players may generate false data either on purpose or for other reasons. Different strategies have evolved to deal with this issue but they are typically tailored just to the particular task they have been applied to. As human computation tasks are by definition not efficiently solvable by an algorithm, it is necessary to find new means to handle this challenge. The lack of established GWAP design paradigms, the difficulties of player engagement and retention and the issues of choosing or defining the right validation techniques in order to obtain meaningful results are limiting the capabilities that these systems may offer. The proposed framework investigates the design of game mechanics and motivation techniques in games in order to solve human computation tasks by providing a set of tools that will be used to ease the development of interactive media applications that have to be integrated within media refinement tasks fulfilled by players. The work has also, dually, investigated the methodologies and approaches for gamification, that is the injection of game-like features in traditional applications (e.g. software development, customer relationship management) to improve key performance indicators.

La “Human Computation” è un ambito di ricerca che si occupa di organizzare e ottimizzare l’uso dell’intelligenza umana per la risoluzione di problemi che sono al di fuori delle capacità degli attuali algoritmi di Intelligenza Artificiale (AI). La rapida crescita del Web e dei Social Network ha interessato milioni di persone che potrebbero fornire il loro contributo nello svolgimento di compiti anche complessi; l’utilizzo di questo tipo particolare di manodopera comporta la scelta di incentivi in grado di attrarre potenziali utenti disposti a svolgere i compiti stabiliti e la scelta di meccanismi adatti ad assicurare la qualità dei loro contributi. Per risolvere il problema, diversi approcci sono stati studiati; fra questi esistono i Games with a Purpose (GWAP), videogiochi in cui le azioni svolte dai giocatori forniscono dati di rilievo anche al di fuori del gioco stesso. Il loro campo applicativo spazia dalla scoperta di nuove strutture molecolari per alcuni tipi di proteine alla raccolta di etichette testuali significative per immagini non annotate. La strategia tradizionale per ottenere gli stessi risultati, il “crowdsourcing”, richiederebbe l’uso di piattaforme ad hoc, come Amazon Mechanical Turk, in cui gli utenti che contribuiscono alla risoluzione di un particolare problema sono, in realtà, lavoratori pagati. Per ovviare alla mancanza di “motivazione estrinseca” che affligge le piattaforme di crowdsourcing tradizionali, i GWAP forniscono “motivazione intrinseca” sotto forma di intrattenimento. Diversi GWAP sono stati sviluppati fin dall’invenzione del genere, avvenuta con la creazione dell’ESP Game nel 2003. Ma non tutti i GWAP sembrano essere stati in grado di soddisfare le aspettative iniziali, cioè di poter trasformare le milioni di ore tipicamente spese interagendo con i videogiochi in lavoro utile e produttivo. Il problema maggiore che i GWAP hanno dovuto affrontare è legato al fatto che i meccanismi fondamentali su cui questi si basano per garantire la qualità dei risultati sottomessi sono stati erroneamente considerati come "Meccaniche di Gioco", quando in realtà si tratta di strategie di validazione. Per questo motivo, anche i GWAP più famosi sono caratterizzati da dinamiche di gioco che mirano a massimizzare la quantità e la qualità dei dati sottomessi dagli utenti, invece che focalizzarsi su dimensioni di intrattenimento tipiche degli altri giochi digitali. Come è accaduto per i GWAP, la Gamification, un processo che utilizza tecniche di game design e meccaniche di gioco per migliorare sensibilmente applicazioni tradizionali, è stata in grado di ottenere risultati significativi ma anche fallimenti catastrofici. Ancora una volta, questi effetti devono essere attribuiti alle cattive scelte di design che coinvolgono questo tipo di applicazioni, conseguenza della mancanza di linee guida e suggerimenti a supporto del loro sviluppo. L'intrinseca difficoltà di progettazione sia dei GWAP che delle applicazioni gamificate è legata al tradeoff fra scopo da raggiungere e divertimento: nelle applicazioni tradizionali, l'inserimento improprio di elementi di gioco potrebbe risultare artificiale e non produrre quindi gli effetti di coinvolgimento desiderati ma, al contrario, compromettere la produttività degli utenti; in maniera simmetrica, in un GWAP il task da risolvere potrebbe non essere adatto alle meccaniche di gioco scelte, riducendo la giocabilità del prodotto e fallendo quindi nell'attrarre nuovi giocatori e coinvolgerli nell'esecuzione del task. Un altro problema legato allo sviluppo di sistemi di Human Computation riguarda l'affidabilità dei dati raccolti. Gli esseri umani sono tendenzialmente inaffidabili, specialmente in ambienti ludici in cui giocatori sono soliti sfruttare ogni debolezza del sistema a loro vantaggio. I giocatori potrebbero pertanto generare dati non corretti di proposito o per incapacità. Dato che i problemi di Human Computation sono, per definizione, non risolvibili in maniera efficiente da un algoritmo, è necessario trovare nuove strategie per arginare questo tipo di comportamento. La mancanza di paradigmi consolidati per il design di un GWAP, le difficoltà di coinvolgimento, fidelizzazione dei giocatori e scelta della strategia di validazione migliore per ottenere risultati di rilievo sono dei forti limiti alle possibilità che questi sistemi possono offrire. Scopo di questo lavoro è quello di analizzare meccaniche e tecniche motivazionali tipiche dei giochi per poter risolvere in maniera più efficace task di Human Computation, fornendo strumenti in grado di facilitare lo sviluppo di GWAP per la risoluzione di problemi di raccolta e completamento dei metadati associati a contenuti multimediali. Questa lavoro analizzerà, inoltre, metodologie e approcci utilizzati in Gamification, ovvero come introdurre meccaniche di gioco in applicazioni tradizionali (sviluppo software, customer relationship managment), per migliorare i valori restituiti dagli indicatori di performance.

Methodologies and Tools for Games with a Purpose design and Gamified Applications

GALLI, LUCA

Abstract

Human computation is a research area that focuses on exploiting human intelligence to solve computational problems that are beyond the capacity of existing Artificial Intelligence (AI) algorithms. The growth of the Web and Social Networks provides a massive amount of persons that can be leveraged to perform complex tasks, but a fundamental issue in exploiting the contribution of crowds is how to engage the potential users for the specified purposes and how to ensure the quality of their contribution. To overcome the problem, a set of approaches have been developed; Games with a Purpose (GWAP) are digital games in which the players' actions in the game contribute to a real-world purpose outside of the game, whether it be predicting protein structures or providing labels for images. The standard way to accomplish the same type of work is to “crowdsource” the work directly using a service like Amazon Mechanical Turk in which contributors are paid as workers. To address the lack of extrinsic motivation that plagues traditional human computation platforms, GWAP provide intrinsic motivation in the form of entertainment. Many GWAP have been developed since the release of the first instance, the ESP Game in 2003. But not all GWAP seem to have lived up to the initial hype of transforming millions of hours typically poured into traditional games into useful and productive work. The problem that GWAP have faced since their inception is related to the fact that the very fundamental mechanisms on which they rely on, to guarantee the quality of the submitted results, have been considered as “Game Mechanics” while in reality they are simply validation mechanisms. For this reason, even the most famous GWAP were centered on experiences that aimed at maximizing the throughput of high quality submitted content instead of focusing on the entertainment dimension typical of other digital games, producing applications that were perceived as “non games” by their users. As it happened with GWAP, gamification, the process of using game design techniques and game mechanics to enhance traditional applications, has been able to accomplish significative results but also catastrophic failures. Once again, this phenomenon has to be attributed to poor design due to the lack of guidelines and best practices to support the development. The main reason is the inherent difficulty of the design of both GWAP and gamified applications, which resides in the tradeoff between purposiveness and playfulness: in a traditional application, the improper insertion of gaming elements may result artificial and thus not produce the desired engagement effects, while on the contrary spoiling the user’s productivity, symmetrically in a GWAP the task to be solved may mismatch with the game mechanics, thus decreasing the “playability” of the game and failing to attract people and engage them in the execution of the task. Another common challenge of human computation systems is data reliability. Humans are expected to be unreliable, especially in ludic environments where a playful interaction with the system to test its borders is expected. Therefore, players may generate false data either on purpose or for other reasons. Different strategies have evolved to deal with this issue but they are typically tailored just to the particular task they have been applied to. As human computation tasks are by definition not efficiently solvable by an algorithm, it is necessary to find new means to handle this challenge. The lack of established GWAP design paradigms, the difficulties of player engagement and retention and the issues of choosing or defining the right validation techniques in order to obtain meaningful results are limiting the capabilities that these systems may offer. The proposed framework investigates the design of game mechanics and motivation techniques in games in order to solve human computation tasks by providing a set of tools that will be used to ease the development of interactive media applications that have to be integrated within media refinement tasks fulfilled by players. The work has also, dually, investigated the methodologies and approaches for gamification, that is the injection of game-like features in traditional applications (e.g. software development, customer relationship management) to improve key performance indicators.
FIORINI, CARLO ETTORE
LANZI, PIER LUCA
20-mar-2015
Methodologies and tools for games with a purpose design and gamified applications
La “Human Computation” è un ambito di ricerca che si occupa di organizzare e ottimizzare l’uso dell’intelligenza umana per la risoluzione di problemi che sono al di fuori delle capacità degli attuali algoritmi di Intelligenza Artificiale (AI). La rapida crescita del Web e dei Social Network ha interessato milioni di persone che potrebbero fornire il loro contributo nello svolgimento di compiti anche complessi; l’utilizzo di questo tipo particolare di manodopera comporta la scelta di incentivi in grado di attrarre potenziali utenti disposti a svolgere i compiti stabiliti e la scelta di meccanismi adatti ad assicurare la qualità dei loro contributi. Per risolvere il problema, diversi approcci sono stati studiati; fra questi esistono i Games with a Purpose (GWAP), videogiochi in cui le azioni svolte dai giocatori forniscono dati di rilievo anche al di fuori del gioco stesso. Il loro campo applicativo spazia dalla scoperta di nuove strutture molecolari per alcuni tipi di proteine alla raccolta di etichette testuali significative per immagini non annotate. La strategia tradizionale per ottenere gli stessi risultati, il “crowdsourcing”, richiederebbe l’uso di piattaforme ad hoc, come Amazon Mechanical Turk, in cui gli utenti che contribuiscono alla risoluzione di un particolare problema sono, in realtà, lavoratori pagati. Per ovviare alla mancanza di “motivazione estrinseca” che affligge le piattaforme di crowdsourcing tradizionali, i GWAP forniscono “motivazione intrinseca” sotto forma di intrattenimento. Diversi GWAP sono stati sviluppati fin dall’invenzione del genere, avvenuta con la creazione dell’ESP Game nel 2003. Ma non tutti i GWAP sembrano essere stati in grado di soddisfare le aspettative iniziali, cioè di poter trasformare le milioni di ore tipicamente spese interagendo con i videogiochi in lavoro utile e produttivo. Il problema maggiore che i GWAP hanno dovuto affrontare è legato al fatto che i meccanismi fondamentali su cui questi si basano per garantire la qualità dei risultati sottomessi sono stati erroneamente considerati come "Meccaniche di Gioco", quando in realtà si tratta di strategie di validazione. Per questo motivo, anche i GWAP più famosi sono caratterizzati da dinamiche di gioco che mirano a massimizzare la quantità e la qualità dei dati sottomessi dagli utenti, invece che focalizzarsi su dimensioni di intrattenimento tipiche degli altri giochi digitali. Come è accaduto per i GWAP, la Gamification, un processo che utilizza tecniche di game design e meccaniche di gioco per migliorare sensibilmente applicazioni tradizionali, è stata in grado di ottenere risultati significativi ma anche fallimenti catastrofici. Ancora una volta, questi effetti devono essere attribuiti alle cattive scelte di design che coinvolgono questo tipo di applicazioni, conseguenza della mancanza di linee guida e suggerimenti a supporto del loro sviluppo. L'intrinseca difficoltà di progettazione sia dei GWAP che delle applicazioni gamificate è legata al tradeoff fra scopo da raggiungere e divertimento: nelle applicazioni tradizionali, l'inserimento improprio di elementi di gioco potrebbe risultare artificiale e non produrre quindi gli effetti di coinvolgimento desiderati ma, al contrario, compromettere la produttività degli utenti; in maniera simmetrica, in un GWAP il task da risolvere potrebbe non essere adatto alle meccaniche di gioco scelte, riducendo la giocabilità del prodotto e fallendo quindi nell'attrarre nuovi giocatori e coinvolgerli nell'esecuzione del task. Un altro problema legato allo sviluppo di sistemi di Human Computation riguarda l'affidabilità dei dati raccolti. Gli esseri umani sono tendenzialmente inaffidabili, specialmente in ambienti ludici in cui giocatori sono soliti sfruttare ogni debolezza del sistema a loro vantaggio. I giocatori potrebbero pertanto generare dati non corretti di proposito o per incapacità. Dato che i problemi di Human Computation sono, per definizione, non risolvibili in maniera efficiente da un algoritmo, è necessario trovare nuove strategie per arginare questo tipo di comportamento. La mancanza di paradigmi consolidati per il design di un GWAP, le difficoltà di coinvolgimento, fidelizzazione dei giocatori e scelta della strategia di validazione migliore per ottenere risultati di rilievo sono dei forti limiti alle possibilità che questi sistemi possono offrire. Scopo di questo lavoro è quello di analizzare meccaniche e tecniche motivazionali tipiche dei giochi per poter risolvere in maniera più efficace task di Human Computation, fornendo strumenti in grado di facilitare lo sviluppo di GWAP per la risoluzione di problemi di raccolta e completamento dei metadati associati a contenuti multimediali. Questa lavoro analizzerà, inoltre, metodologie e approcci utilizzati in Gamification, ovvero come introdurre meccaniche di gioco in applicazioni tradizionali (sviluppo software, customer relationship managment), per migliorare i valori restituiti dagli indicatori di performance.
Tesi di dottorato
File allegati
File Dimensione Formato  
2015_03_PhD_Galli.pdf

Open Access dal 02/03/2018

Descrizione: 2015_03_PhD_Galli
Dimensione 16.33 MB
Formato Adobe PDF
16.33 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/108607