Adaptive monitoring for data reduction in fog computing systems

Nowadays, daily activities are increasingly performed with the support of sensors across various scales, from individual cars to entire cities and buildings. Their purpose is to monitor specific physical parameters, offering analytics, synthesis, and support for oper- ational decision-making based on the gathered data. These sensor-rich environments are commonly referred to as smart environments. It is crucial to recognise, however, that the capabilities of these systems come at a cost, involving substantial energy consumption and significant demands on network bandwidth, leading to considerable expenses. Advancements in the storage and computational capabilities of these devices have facili- tated the adoption of the Fog Computing paradigm, where computation and storage are distributed between the Cloud nodes and the Edge nodes, which are situated closer to the data sources. Exploiting Fog Computing, we aim at reducing data transmission and distance traveled by implementing an Adaptive Monitoring System (AMS). This system is able to achieve the proposed goals by exploiting a prediction model that learns internal relationships within the measured data. Consequently, we can reduce the amount of data sent from sensors to the cloud for storage, compensating for missing information through the prediction model, a strategy aligned with our primary goal of data reduction. To further reduce network data traffic, we introduce an optimal deployment algorithm, used to deploy the various components of the AMS as close as possible to the data sources, transforming it into a distributed system. Notably, this system is adaptive, capable of responding promptly to environmental changes such as malfunctioning sensors or shifts in data distributions. Validation was conducted using a dataset representing a collection of Smart Buildings. The results demonstrate that our system achieves a data reductions near to 70%, while maintaining a high accuracy in data reconstruction. Additionally, the adaptive compo- nents exhibit effective responses to dynamic changes, initiating re-training of the predic- tion model and re-deployment of AMS components in the presence of node failures.

Attualmente, sempre più attività della vita quotidiana sono condotte con l’aiuto di sensori, considerando scale variabili, dalle singole automobili ad interi edifici e città . Il loro scopo è monitorare parametri fisici specifici, offrendo analisi, sintesi e supporto per il processo decisionale operativo basato sui dati raccolti. Questi ambienti ricchi di sensori sono comunemente definiti ambienti intelligenti. È fondamentale riconoscere, tuttavia, che le capacità di questi sistemi hanno un costo, in quanto comportano un notevole consumo di energia e una significativa richiesta di larghezza di banda della rete, con conseguenti spese considerevoli. I progressi nelle capacità di memorizzazione e di calcolo di questi dispositivi hanno facili- tato l’adozione del paradigma Fog Computing, in cui il calcolo e la memorizzazione sono distribuiti tra i nodi Cloud e i nodi Edge, che sono situati più vicini alle fonti di dati. Sfruttando il Fog Computing, ci proponiamo di ridurre la trasmissione dei dati e la dis- tanza percorsa implementando un Adaptive Monitoring System (AMS). Questo sistema è in grado di raggiungere gli obiettivi proposti sfruttando un modello di previsione che apprende le relazioni interne ai dati misurati. Di conseguenza, possiamo ridurre la quan- tità di dati inviati dai sensori al cloud per l’archiviazione, compensando le informazioni mancanti attraverso il modello di previsione, una strategia allineata con il nostro obiet- tivo primario di riduzione dei dati. Per ridurre ulteriormente il traffico di dati in rete, introduciamo un algoritmo di distribuzione ottimale, utilizzato per distribuire i vari com- ponenti dell’ AMS il più vicino possibile alle fonti di dati, trasformandolo in un sistema distribuito. In particolare, questo sistema è adattivo, in grado di rispondere prontamente ai cambiamenti ambientali, come il malfunzionamento dei sensori o le variazioni nella distribuzione dei dati. La validazione è stata condotta utilizzando un set di dati che rappresenta una collezione di edifici intelligenti. I risultati dimostrano che il nostro sistema ottiene una riduzione dei dati vicina al 70%, mantenendo un’elevata precisione nella ricostruzione dei dati. Inoltre, i componenti adattivi rispondono efficacemente ai cambiamenti dinamici, avviando un nuovo addestramento del modello di previsione e una nuova distribuzione dei componenti in presenza di guasti ai nodi.