A methodology for assessing the trustworthiness of a social media author

This thesis comprises the analysis of social media users in the context of emergency management. Since poor quality data contributions can affect emergency plan and response, it is crucial to identify reliable users who can provide relevant information of the disaster extent. This work is part of a greater project, the E2mC European programme, which employs both crowdsourcing and social media data for improving emergency mapping and planning. After collecting the data from different social networks, one of the post-processing task includes checking the quality of the data, corresponding to the evaluation of the credibility of the sources and the usefulness of the posts. The aim of this thesis consists of assessing the level of trustworthiness of users who intervened during the interested emergency events, with the aid of supervised learning techniques, in particular classification algorithms. The designed methodology starts with the main actors identification, denoting the categories of users interacting in crisis events on social media, then proceeds with the identification of the users dimensions associated to perceived credibility. The dimensions are derived from the accounts characteristics and their activity on social media, after analyzing which are actually relevant for determining the trustworthiness of the authors. Starting from crisis-related tweets, sources’ profiles are collected and then inspected. Different classification algorithms are compared against each other in order to efficiently predict the reliability of the users. The final outcome is a trustworthiness score associated to the accounts, based on the predicted probabilities of the classifier.

Questa tesi comprende l’analisi degli utenti dei social media nel contesto della gestione delle emergenze. Poiché i contributi dei dati di scarsa qualità possono influire sulla pianificazione e la risposta dell’emergenza, è fondamentale identificare utenti affidabili in grado di fornire informazioni pertinenti sull’estensione del disastro. Questo lavoro fa parte di un progetto più ampio, il programma europeo E2mC, che impiega sia dati di crowdsourcing che di social media per migliorare la mappatura e la pianificazione dell'emergenza. Dopo aver raccolto i dati da diversi social network, una delle attività di post-elaborazione include il controllo della qualità dei dati, che corrisponde alla valutazione della credibilità delle fonti e dell’utilità dei post. Lo scopo di questa tesi consiste nel valutare il livello di affidabilità degli utenti che sono intervenuti durante gli eventi di emergenza interessati, con l’ausilio di tecniche di apprendimento supervisionate, in particolare algoritmi di classificazione. La metodologia progettata inizia con l’identificazione degli attori principali, che denota le categorie di utenti che interagiscono in eventi di crisi sui social media, quindi procede con l’identificazione delle dimensioni degli utenti associate alla credibilità percepita. Le dimensioni derivano dalle caratteristiche degli account e dalla loro attività sui social media, dopo aver analizzato quali sono effettivamente rilevanti per determinare l’attendibilità degli autori. A partire dai tweet legati alla crisi, i profili degli autori vengono raccolti e poi controllati. Diversi algoritmi di classificazione vengono confrontati tra loro al fine di prevedere in modo efficiente l’affidabilità degli utenti. Il risultato finale è il punteggio di affidabilità associato agli account, basato sulle probabilità di predizione del classificatore.