Towards sustainable solutions for applications in cloud computing and big data

Sustainability is a development paradigm where sustainable growth is placed at the center, forcing any involved activities to prioritize positive and long- term growth for the future of mankind. This pursuit of sustainability involves economic, social and environmental aspects, in which one of the goals is to minimize environmental impact. While the introduction of recent technologies in ICT sector such as Cloud Computing and Big Data opens new opportunities for economic growth and scientific discoveries, they also raise serious concerns about environmental impact due to the rapid growth of energy consumption and consequently CO2 emissions. Recent research on energy efficiency in the era of Cloud Computing and Big Data has been focused on reducing energy consumption, and state-of-the-art techniques have been emphasized on optimizing power and energy consumption at hardware and infrastructure levels of data centers. Although these techniques have succeeded to reduce significantly the energy consumption of data centers, the increasing heterogeneity of the current workloads such as MapReduce and Content Delivery Networks, and the continuous growing quantity of data to be processed by applications call for more holistic approaches to enable optimization at higher levels. To this end, the research goal of this thesis is aimed to look for new opportunities to further improve energy efficiency at the level of applications in the context of Cloud Computing and Big Data. Particularly, this research proposes to tackle the sustainability problem, in particular the energy efficiency, at application level from two different angles: the possibility to reduce the energy consumption of applications and the potential to reduce the amount of data to be processed. Adopting both modeling-based and experimental-based techniques, the first approach proposes models to estimate the energy consumption of cloud-based applications and quantify the energy consumed per job. The models are built based on application’s parameters and are validated experimentally in a real cloud infrastructure. The energy per job metric is used as a main driver to analyze energy consuming behaviors of applications and to assess possibilities to improve their energy efficiency. Through the selected case studies, we demonstrate that application’s energy efficiency can be further improved at the application level through a better execution configuration or a better distribution of workloads. As a final result, the proposed method provides a means to both application’s users and cloud infrastructure’s providers to actively control and optimize the energy usage of cloud-based applications. In the second proposal, the thesis proposes a novel approach for achieving sustainability in the context of Big Data through considering the potential to reduce data volume. In particular, data volume reduction can be achieved through identifying and removing irrelevant data with respect to user’s goals. As the final results, a novel metric called data value is proposed to represent the valuable level of data, and a generic energy-efficient framework utilizing this value is proposed. The inference of the data value is also demonstrated by using data correlation technique.

La sostenibilità è un paradigma di sviluppo, dove la crescita sostenibile è posta al centro, costringendo tutte le attività coinvolte a dare priorità alla crescita a lungo termine per il futuro del genere umano. Questa ricerca della sostenibilità coinvolge aspetti economici, sociali e ambientali, in cui uno degli obiettivi è quello di minimizzare l'impatto ambientale. Mentre l'introduzione delle recenti tecnologie nel settore ICT come il cloud computing e Big Data apre nuove opportunità di crescita economica e di scoperte scientifiche, queste sollevano anche serie preoccupazioni circa l'impatto ambientale a causa della rapida crescita del consumo di energia e di conseguenza delle emissioni di CO2. Le ultime ricerche sull'efficienza energetica nell'era del cloud computing e Big Data sono state focalizzate sulla riduzione del consumo di energia, e le tecniche dello stato dell’arte si sono in particolare soffermate su come ottimizzare la potenza e il consumo di energia a livello hardware e di infrastrutture dei data center. Anche se queste tecniche sono riuscite a ridurre in modo significativo il consumo di energia dei data center, la crescente eterogeneità dei carichi di lavoro attuali come MapReduce e Content Delivery Networks, e la continuamente crescente quantità di dati da elaborare per le applicazioni richiedono approcci più olistici per consentire l'ottimizzazione a livelli più alti. A tal fine, l'obiettivo del lavoro di ricerca di questa tesi ha lo scopo di cercare nuove opportunità per migliorare ulteriormente l'efficienza energetica a livello di applicazioni nell'ambito del cloud computing e Big Data. In particolare, questo lavoro di ricerca propone di affrontare il problema della sostenibilità ed in particolare dell'efficienza energetica, a livello di applicazione da due angolazioni diverse: la possibilità di ridurre il consumo di energia delle applicazioni e la possibilità di ridurre la quantità di dati da elaborare. Adottando sia tecniche basate su modelizzazione, sia tecniche sperimentali, il primo approccio propone modelli per stimare il consumo energetico delle applicazioni cloud-based e quantificare l'energia consumata per job. I modelli sono costruiti a partire dai parametri dell'applicazione e sono validati sperimentalmente in una reale infrastruttura cloud. L'energia per job viene utilizzata come criterio principale per analizzare il comportamento in termini di energia consumata e di valutare le possibilità di migliorare l'efficienza energetica. Attraverso gli studi di casi selezionati, dimostriamo che l'efficienza energetica dell'applicazione può essere ulteriormente migliorata a livello di applicazione attraverso una configurazione di esecuzione migliore o attraverso una migliore distribuzione dei carichi di lavoro. Come risultato finale, il metodo proposto fornisce un mezzo sia per gli utenti di applicazioni e sia per I fornitori di infrastrutture cloud per controllare attivamente e ottimizzare l'uso di energia delle applicazioni basate su cloud. Nella seconda proposta, la tesi propone un nuovo approccio per raggiungere la sostenibilità nel contesto di Big Data considerando la possibilita’ di ridurre il volume dei dati. In particolare, la riduzione del volume di dati può essere realizzata attraverso l'identificazione e la rimozione dei dati irrilevanti rispetto agli obiettivi dell'utente. Come risultato finale, e’ stata proposta una nuova metrica chiamata data value per rappresentare l’importanza del valore dei dati, ed è stato proposto un framework efficiente dal punto di vista energetico che sfrutta questa metrica. La rilevanza della data value è stata inoltre dimostrata utilizzando la tecnica di correlazione dei dati.