Performance and power analysis of large scale virtualized infrastructure

Datacenter costs and power consumption are rapidly growing. Overprovisioning resources and running servers at low utilization is no more affordable. In recent years, the availability of virtualization technologies on commodity server hardware provided the opportunity to consolidate workloads on a smaller number of servers without introducing compatibility and security issues. Server consolidation reduces the power consumption and the operating costs of the datacenter, but introduces a number of challenges. In fact, as server utilization increases, building and parameterizing accurate models of workloads is more important than ever to predict the response times of the systems. At the same time, the opportunity to relocate workloads leads to interesting research questions regarding the optimal mapping of workloads to servers. While server consolidation is a static workload placement problem, dynamic workload placement problems occur in Infrastructure-as-a-Service (IaaS) clouds, where a scheduler needs to decide the optimal allocation of a newly provisioned virtual machine. In this dissertation we present the following contributions, related to both optimal workload placement and performance model parameter estimation: - A cooling-aware static workload placement problem in which the total datacenter power, including server and cooling power, is minimized, while satisfying constraints on the response times. A mathematical programming formulation of the problem as well as efficient heuristics are proposed and validated. - A dynamic workload placement problem for IaaS clouds, in which the profit from running virtual machines on a set of heterogenous server is maximized. An optimized tool to compute the optimal scheduling policy was developed. - An algorithm to estimate the service demands, a fundamental parameter of queueing network models, when the system is subject to changes (e.g., the modification of virtual machine monitor parameters). The algorithm successfully estimates the parameters under the different system configurations. - Effective strategies to estimate the parameters of a class of stochastic processes, Marked Markovian Arrival Processes (MMAPs), which allow to study the performance of correlated arrivals at queueing systems. We propose the first techniques to estimate the parameters of MMAPs based on closed analytical expressions.

I costi e i consumi energetici dei data center sono in rapido aumento. Sovradimensionare le risorse e sottoutilizzare i server non è più sostenibile. Negli ultimi anni, la disponibilità delle tecnologie di virtualizzazione sui server più diffusi ha offerto l'opportunità di consolidare i workload su un numero ridotto di server senza incorrere in problemi di compatibilità e sicurezza. La server consolidation riduce il consumo di energia e i costi operativi del data center ma introduce nuove problematiche. Infatti, un maggiore utilizzo dei server rende ancora più importante la realizzazione e la parameterizzazione di modelli precisi per predire il tempo di risposta. Allo stesso tempo, la flessibilità introdotta dalla virtualizzazione permette di ricercare l'allocazione ottimale dei workload sui server. In questo ambito vanno considerati sia i problemi di allocazione statici, come la server consolidation, dove i workload sono noti a priori, sia quelli dinamici, che rigardano i servizi di cloud computing di tipo Infastracture-as-a-Service (IaaS), dove occorre decidere l'allocazione di ogni nuova virtual machine richiesta dagli utenti. In questa tesi presentiamo i seguenti contributi: - Un problema di workload placment statico in cui viene minimizzato il consumo di energia del data center, tenendo conto sia dei server che dell'impianto di raffreddamento, senza violare i vincoli sui tempi di risposta. Per risolvere il problema proponiamo sia una formulazione matematica sia delle efficienti euristiche. - Un problema di workload placment dinamico per i cloud IaaS, in cui massimizziamo il profitto dovuto all'esecuzione delle macchine virtuali su un insieme di server eterogenei. Per calcoloare la politica ottimale, abbiamo realizzato un software parallelo altamente ottimizzato. - Un algoritmo per stimare i service demand, parametri fondamentali dei modelli a rete di code, quando il sistema è soggetto a modifiche (relative, per esempio, ai parametri del virtual machine monitor). L'algoritmo è in grado di stimare con successo i parametri del sistema nelle sue diverse configurazioni. - Efficaci strategie per stimare i parametri di una classe di processi stocastici, i Marked Markovian Arrival Processes (MMAP), che consentono di studiare arrivi correlati nei sistemi a code. Per questa classe di modelli, proponiamo le prime tecniche di stima dei loro parametri basate su espressioni analitiche chiuse.