Monitoring data utilization in fog computing environments

This thesis proposes a framework to improve monitoring data utilization in fog computing environments, reducing the data volume while maintaining the data quality and structure performance. Over the past few years, there has been a significant increase in the use of Monitoring Data for various domains such as IoT, cloud computing, smart spaces. In all the mentioned domains, applications use Monitoring Data as a critical pipeline to observe the target system (space) and to support the smart decision-making process. This work has been motivated by the increasing attention of monitoring data and the rising volume and dimensions of monitoring data, which brings the rapid grow of maintenance cost to the system owners in various aspects: energy, network bandwidth, storage, etc. In this work, we try to understand the situation and the environment of monitoring data utilization and how the monitoring data are collected and transmitted and modeled during its lifecycle. We propose a correlation-based approach to reduce the volume of monitoring data where some monitoring variables can predict some other variables based on their quantitative relation, which has been derived by analyses. We propose execution profiles to capture the resources demands of software modules and services to enable better management of computational resources. We propose a deployment methodology in fog computing environments, with hierarchical environment model and resources capacity constraints. We also offer a fault-tolerant scheme to ensure the data quality of raw sensor outputs in the monitoring system, to improve the performance of data utilization in the whole lifecycle. Combining the aspects above, we propose an adaptive monitoring data framework for fog computing environments. The framework learns the relationships between monitoring variables and reduces the monitoring dataset using data reduction services. It can respond to changes in the surrounding environment, keeping these relations updated. It distributes individual reduction services to the fog environment and optimizes the deployment of data reduction services. It also exploits the fault-tolerant scheme to the edge side of the monitoring system for reliable data collection.

Questa tesi propone un framework per migliorare dell'utilizzo dei dati di monitoraggio negli ambienti di Fog computing, riducendo il volume di tali dati mantenendo la loro qualità e le prestazioni. Negli ultimi anni, c'è stato un significativo aumento nell'uso dei dati di monitoraggio per vari domini come IoT, cloud computing, spazi intelligenti. In tutti i domini citati, le applicazioni utilizzano i dati di monitoraggio come una pipeline critica per osservare il sistema target e per supportare il processo decisionale intelligente. Questo lavoro è stato motivato dalla crescente attenzione per i dati di monitoraggio e dall'aumento del volume e delle dimensioni dei dati di monitoraggio, che porta a una rapida crescita dei costi di manutenzione per i proprietari del sistema in vari aspetti: energia, larghezza di banda della rete, storage, ecc. In questo lavoro, si cerca di comprendere il contesto e l'ambiente di utilizzo di dati di monitoraggio e di come i dati di monitoraggio sono raccolti e trasmessi e modellati durante il suo ciclo di vita. Viene proposto un approccio basato sulla correlazione per ridurre il volume dei dati di monitoraggio in cui alcune variabili di monitoraggio possono essere previste in base ad altre variabili utilizzando la loro relazione quantitativa tra di esse, ricavata dall’analisi dei dati. Viene proposta una metodologia di implementazione in ambienti di cloud computing, con modello di ambiente gerarchico e vincoli di capacità delle risorse. Viene proposto anche un approccio fault-tolerant per garantire la qualità dei dati degli output dei sensori grezzi nel sistema di monitoraggio, per migliorare le prestazioni di utilizzo dei dati nell'intero ciclo di vita. Viene proposto un sistema di monitoraggio adattivo, in cui le relazioni vengono apprese con meccanismi di apprendimento automatico e il dataset di monitoraggio viene ridotto tramite la creazione di servizi di riduzione dei dati. Vengono studiati i profili di esecuzione di questi servizi di riduzione per una migliore gestione delle risorse computazionali. Il sistema risponde ai cambiamenti dell'ambiente circostante, mantenendo aggiornate le relazioni tra le variabili. I servizi di riduzione vengono allocati in modo ottimizzato sull’infrastruttura. Viene inoltre utilizzato l’approccio fault-tolerant nel sistema di monitoraggio sul lato edge per una raccolta affidabile dei dati grezzi.