Multiple time scale auto-scaling algorithms for multi-Cloud IaaS systems

Nowadays Cloud Computing is emerging as a major trend in the ICT industry. The wide spectrum of available Clouds, such as those offered by Microsoft and Google, is contributing to a predicted compound annual growth rate of 19.5\% and provides a vibrant technical environment, where small and medium enterprises can create innovative solutions and evolve their existing service offer. Due to the large scale nature of the Cloud and the service centers, resource provisioning is one of the most important challenges. Indeed, modern cloud infrastructures and service centers are characterized by continuous changes in the environment and in the requirements they have to meet. Therefore, in order to provide Cloud services, advanced solutions have to be developed to be able to dynamically adapt the Cloud infrastructure, while providing continuous service and performance guarantees. This thesis aims to develop capacity allocation techniques able to minimize the cost of the provided Cloud resources at multiple providers, while guaranteeing Quality of Service (QoS) constraints. We deal with this problem on two different level of optimization: at the first layer, we provide the distribution of workload over multiple infrastructure provider and then at the second layer we implement capacity allocation of multiple class of requests at each provider on a short-term time scale. The second layer implements a short term receding horizon control. The overall goal is to analyze the best time scale length for the capacity allocation algorithm in order to minimize cost and providing QoS guarantees. We have performed also an extensive evaluation of our solution with multiple heuristics provided in the literature. Results have shown that the most appropriate time scale is 5 minute for spiky workload and 10 minutes for smooth traffic conditions from the economical point of view, also with acceptable percentage of QoS violations. Furthermore, our solutions are very close to the ones found by an oracle with perfect knowledge of the future.

In questi anni il Cloud Computing sta emergendo come soluzione principale nell’industria ICT. La sempre più ampia offerta, come nel caso di Microsoft e Google, contribuisce alla crescita annuale del settore, e ad un ambiente tecnico vivace, dove piccole e medie imprese concorrono a creare soluzioni innovative ed a migliorare i propri servizi. A causa delle dimensioni su larga scala del Cloud, la fornitura di risorse è una delle maggiori sfide. Infatti le infrastrutture delle Cloud moderne operano in un mondo caratterizzato da cambiamenti continui nell'ambiente e nei requisiti da soddisfare. Pertanto, devono essere sviluppate soluzioni avanzate in grado di adattare dinamicamente le infrastrutture Cloud, fornendo un servizio continuo e prestazioni garantite. Dal momento che la violazione della qualità del servizio (QoS) può portare ad una perdita di profitti, i fornitori di servizi investono numerose risorse nella ricerca di soluzioni che minimizzino i costi rispettando nel contempo la QoS. Questa tesi si propone di sviluppare tecniche di allocazione delle risorse in grado di minimizzare i costi per le risorse allocate su più provider e al contempo garantire la QoS. Il problema viene affrontato attraverso due livelli di ottimizzazione: il primo livello consiste nella distribuzione del traffico in ingresso al sistema su più provider, mentre nel secondo si è implementato una tecnica di allocazione di più classi di richieste ad ogni provider, considerando intervalli di tempo brevi. Viene utilizzata la tecnica di controllo Receding Horizon. L’obiettivo è quello di definire la migliore granularità dell’intervallo di tempo su cui eseguire allocazione delle risorse al fine di minimizzare i costi e garantire la QoS. Abbiamo eseguito anche una esaustiva valutazione della nostra soluzione attraverso il confronto con le euristiche proposte dalla letteratura. I risultati dimostrano che l’intervallo di tempo più appropriato è di 5 minuti per traffico altamente variabile e di 10 per traffico uniforme, con una percentuale di violazione della QoS accettabile. Inoltre, la nostra soluzione è risultata confrontabile con quella ottenuta da un oracolo, che ha perfetta conoscenza del futuro.