Towards a tool set for social media analytics able to represent and anticipate the real world

The importance of social networks in the last few years represents one of the most pervasive phenomena of the modern information society. Until few years ago the Web could be considered as a virtual library, but today the context has radically changed. The development of the Web during the last years allows everyone not only to produce or retrieve information, but also (we can say mostly) to share opinions, trends and to modify ideas of other people, through these channels. For this reason it is interesting to ask this question: can the data retrieved from social networks be used to describe, or even to anticipate, the real world? The toolsdescribed in this work can be used to answer this question. The first part concerns the description of an explorative phase, in order to learn the operating environment, Twitter, understanding which information can be extracted and how it can be used. In this first part it is discussed how we retrieve data and how we extract relevant information. Then there is the definition of hashtag’s pattern, the time-profile of its use, and the study about co-occurrences among different hashtags, in order to find semantic relationships. A combination of temporal and semantic analysis allows the extraction of discussion's topics: groups of hashtags which refer to a common argument in a definite time slot. Finally we describe a technique of predictive analysis and anomalies detection, where “anomaly” is defined as a difference between the predicted behaviour of an hashtag and its real pattern. We try to determine if the anomaly discovered is a sign that something extraordinary has happened in real world. The second part describes the implementation phase for the development of four tools: a pattern viewer (Sociometro), a pattern researcher (Pattern Detector), a tool for topics extraction (Topic Detector) and a tool for predictive analysis (Anomalies Detector). It follows a test-phase that aims to evaluate the effectiveness and the usability of the systems we built. Looking at them we can conclude that the tools described here could be useful in social media analytics, for example in order to answer to the original question we proposed.

L’importanza assunta dai social networknegli ultimi anni è uno dei fenomeni che più caratterizza l’odierna società dell’informazione. Se fino a pochi anni fa si poteva considerare il Webcome una sorta di biblioteca virtuale oggi il contesto appare radicalmente mutato. L’evoluzione che ha subito il Web ha reso possibile, per chiunque, non solo produrre e reperire contenuti ma anche – o forse soprattutto – scambiare opinioni e influenzare attraverso di esse il pensiero altrui, generando un nuovo concetto di Web. Alla luce di ciò risulta interessante porsi una domanda: i dati provenienti dai social network sono in grado di descrivere, o anticipare, la realtà? Gli strumenti software qui descritti possono essere utilizzati per rispondere a questa domanda. La prima parte di questa tesi si concentra sulla descrizione di una fase esplorativa volta a conoscere il contesto operativo, Twitter, e comprendere come utilizzarlo. È trattata l’acquisizione del dato e l’estrazione di informazioni. Seguono la definizione di pattern di un hashtag, il profilo temporale del suo utilizzo, e l’analisi delle co-occorrenze tra hashtag diversi, allo scopo di individuare relazioni semantiche. La combinazione tra analisi temporale e semantica porta all’estrazione dei topic di discussione: gruppi di hashtag relativi a un argomento comune in un preciso periodo temporale. Infine ci si spinge verso l’analisi predittiva e il rilevamento di anomalie, discrepanze tra pattern attesi e pattern realmente osservati, verificando se la scoperta di un'anomalia sia indice di qualcosa di straordinario accaduto nel mondo reale. La seconda parte descrive l’implementazione di quattro strumenti software: un visualizzatore di pattern temporali (Sociometro), uno strumento di ricerca pattern per profilo (Pattern Detector), un tool per l’estrazione dei topic (Topic Detector) e uno strumento di analisi predittiva (Anomalies Detector). Segue una fase di test mirati a valutare efficacia e usabilità dei sistemi costruiti mediante simulazione di casi d’uso reali, i cui risultati inducono a ritenere i tool fruibili nel campo dell’analisi dei social media nella direzione indicata dalla domanda iniziale.