Design of an ad-hoc scalable cloud solution for time varying workloads

This thesis explores the possibility of creating a dynamic resource allocating system in the cloud; the goal is to create a system with great computational power available to execute compute-intensive pipelines, with the capability of requesting and dismissing computational resources on demand. The system employs a non relational database to persist its data model and to ease the managing of files associated with the pipelines, a ticketing system to keep track of tasks submitted to it, and is developed as a standard web application. The preferred method of deployment for each modules is container technology: in this thesis, container virtualization is explored and tested to prove that is a solid choice for all the needed deployments, at every layer of the application architecture.

Questa tesi esplora la possibilità di creare un sistema dinamico di allocazione delle risorse nel cloud; L'obiettivo è creare un sistema con una grande potenza di calcolo disponibile per eseguire pipeline ad alta intensità di calcolo, con la capacità di richiedere e deallocare risorse computazionali su richiesta. Il sistema utilizza un database non relazionale per persistere il proprio modello di dati e per facilitare la gestione dei file associati alle pipeline, un sistema di ticketing per tenere traccia delle attività ad esso sottoposte ed è sviluppato come applicazione web. Il metodo di implementazione preferito per ogni modulo è la tecnologia container: in questa tesi, la virtualizzazione dei container viene esplorata e testata per dimostrare che è una scelta valida per tutte le implementazioni necessarie, a ogni livello dell'architettura applicativa.