Design and testing of an active big data architecture for social and crowding emergency management

In the past few years, geospatial information created by volunteers and facilitated by social networks has become a promising data source in time- critical situations. Emergency management and first responder organizations around the world are trying to exploit the use of social technologies to prepare for respond to and recover from crisis. Social media offer the opportunity to connect and cooperate with the networked public, take advantage of the capabilities and innovations of virtual volunteers, and to reach people quickly with alerts, warnings and preparedness messages. E2mC, a European project called Evolution of Emergency Copernicus services, aims at demonstrating the technical and operational feasibility of the integration of social media analysis and crowdsourcing within the full Copernicus EMS (Mapping and Early Warning). This work proposes an active Big Data architecture supporting the usage of social media information in such emergency context. The aim of this thesis is to provide a stable, active and innovative architecture to support Big Data and to provide a real-time processing framework, to respond to crisis situations by leveraging social media information. Within this project, I design an architecture that can respond to the E2mC project requirements overcoming the limitation of the Lambda Architecture, the state of the art architecture for big data processing, which is query oriented and data oriented and has many restrictions. The architecture I propose responds to the requirements of a new class of applications that needs real-time, per-event decision-making, since in its current form, Lambda Architecture’s shortcoming is the inability to build responsive, event-oriented applications. It represents also a new Hadoop-based framework for Big Data streaming processing.

Negli ultimi anni, le informazioni geo-spaziali create da volontari facilitate dai social networks sono diventate fonte di dati in situazioni che necessitano di reazione immediata. Le organizzazioni di primo intervento e di gestione delle emergenze in tutto il mondo stanno cercando di sfruttare l’uso dei social media per reagire e rispondere alle situazioni di crisi. I social media offrono l’opportunità di connettersi e collaborare con il pubblico in rete, di sfruttare le capacità e le innovazioni di volontari virtuali, e di raggiungere le persone rapidamente con avvisi, allarmi e messaggi di preparazione. E2mC, un progetto europeo chiamato Evolution of Emergency Copernicus services, mira a dimostrare la fattibilità tecnica e operativa dell’integrazione dell’analisi dei social media e del crowdsourcing con l’intero Copernicus EMS (Mappatura ed Early Warning). Questo lavoro propone un’architettura attiva per i Big Data per supportare l’utilizzo delle informazioni provenienti da social media nel contesto delle emergenze. Lo scopo di questa tesi è quello di fornire un’architettura stabile, attiva e innovativa in grado di processare Big Data, che rappresenti un framework di elaborazioni dati in real-time, per reagire a una situazione di crisi, sfruttando le informazioni provenienti dai social networks. In questa tesi, ho progettato un’architettura che possa soddisfare i requisiti del progetto europeo E2mC, che superi le limitazioni della Lambda Architecture, l’architettura proposta come stato dell’arte per l’elaborazione di grandi moli di dati, che è orientata all’interrogazione e alla modellazione dei dati, che purtroppo presenta vari difetti. L’architettura che propongo risponde alla presenza di una nuova classe di applicazioni che richiede elaborazione di dati in tempo reale, e un processo decisionale basato sugli eventi, dal momento che nella sua attuale forma, la peggior carenza della Lambda Architecture è l’incapacità di creare applicazioni sensibili, orientate agli eventi. Questa architettura rappresenta un nuovo framework, basato sulle tecnologie Hadoop, per l’elaborazione in streaming di Big Data.