Data stream visualization and management

In recent years, social media, Internet of Things and cloud services have contributed to generating a huge flow of data, produced at high rates and in a continuous manner. This type of content production is named data streaming. To cope with such data, tools have been developed, capable of properly handling massive volumes of streamed data. A specific class of data streaming tools is represented by dashboard and business intelligence systems, which facilitate the knowledge extraction and decision making processes of companies, by graphically visualizing and highlighting relevant features mined from data streams. Most such tools are vendor and technology-dependent and require non-trivial technical skills for their configuration. The focus of this thesis is to create a platform that simplifies the creation and evolution of data stream visualization systems, by providing an interface that permits also non-technical users to generate dynamically customized dashboards that represent the streamed data they need to analyze. The thesis is divided into three main parts. The first part examines the technologies used in each step of the data stream processing pipeline. It provides a general overview of the Big Data and data streaming fields and an in-depth analysis of the core technical ingredients of a data stream processing pipeline: the storage, message distribution, stream processing, and dashboard sub-systems. The second, and core, part of the thesis describes the requirements, design, implementation, and deployment of a novel Stream Dashboard Management platform. Unlike existing systems, the proposed platform is independent of the technology for stream generation, can discover new stream at run-time, and requires no technical skill for the creation and evolution of the stream visualization dashboard. The third part of the thesis presents an evaluation of the realized platform, describes its connection to a real industrial IoT system, summarizes the thesis achievement and discusses possible extensions and future work.

Negli ultimi anni, i social media, l’Internet of Things e i servizi cloud hanno contribuito a generare un enorme flusso di dati, a ritmi elevati e in modo continuo. Questo tipo di produzione di contenuti è chiamato data streaming. Per far fronte ad enormi volumi di tali flussi di dati, sono stati sviluppati degli strumenti capaci di gestirli in modo appropriato. Una classe specifica di strumenti di data streaming è rappresentata dalle dashboard e dai sistemi di business intelligence, che facilitano l’estrazione di conoscenza e il processo decisionale delle aziende, mostrando graficamente e mettendo in evidenza le caratteristiche rilevanti ottenute dai flussi di dati. La maggioranza di questi strumenti dipende dal fornitore e dalla tecnologia scelta e richiede competenze tecniche non triviali per la loro configurazione. Il focus di questa tesi è quello di sviluppare una piattaforma che semplifichi la creazione e l’evoluzione dei sistemi di visualizzazione dei flussi di dati, fornendo un’interfaccia che permetta, anche a utenti che non hanno competenze tecniche, di generare dinamicamente dashboard personalizzate che rappresentino i dati in streaming che hanno bisogno di analizzare. La tesi è divisa in tre parti principali. La prima parte esamina le tecnologie utilizzate in ogni fase della procedura di processamento dei flussi di dati. Essa prevede una panoramica generale sui Big Data e sulle tecnologie di data streaming, e un’analisi approfondita sui componenti principali della procedura di processamento dei flussi di dati: i sottosistemi riguardo lo spazio di archiviazione, la distribuzione dei messaggi, il processamento di flussi di dati e le dashboard. La parte centrale della tesi descrive i requisiti, il design, l’implementazione e il deployment di una nuova piattaforma di Stream Dashboard Management. Diversamente dai sistemi esistenti, la piattaforma proposta è indipendente per quanto riguarda la tecnologia per la generazione dei flussi di dati, è in grado di scoprire nuovi flussi di dati mentre è in esecuzione, e non richiede nessuna abilità tecnica per la creazione e l’evoluzione delle dashboard che permettono la visualizzazione dei flussi di dati. La terza parte della tesi presenta una valutazione della piattaforma realizzata, descrive la sua connessione con un reale sistema industriale IoT, riassume i risultati ottenuti e discute sulle possibili estensioni e lavori futuri.