A methodology for the sizing and cost assessment of big data and analytics (BDA) IT infrastructures

The goal of this thesis is to design a methodology for assessing the size and the cost of an IT infrastructure deployed in cloud, dealing with Big Data and Analytics. The thesis is placed in the context of H2020 DataBench, a project funded by the European Commission, whose primary objective is to understand the relationships between technical benchmarking and business Key-Performance-Indicators: it addresses the gap between technical benchmarking communities and business benchmarks, used by companies to measure their performance. Our work contributed in the development of methodology for assessing costs of Big Data-related IT systems, which is important from the managerial perspective, because technical choices can influence the final architecture cost. In order to design the methodology, we conducted an extensive desk analysis on more than 700 articles and papers, coming from the scientific research area, European projects and the industrial world. We developed several technology-independent blueprints, to describe the most frequent use cases about Big Data and Analytics, identified with the desk analysis. Then, we provided a procedure which, by using the blueprints, is able to assess the total size and cost of the architecture, deployed in cloud. We applied the theory proposed to two real world applications belonging to two different industries: retail and telecommunications. At the end, we express how the final costs can be minimized or reduced, by performing a critical benchmarking before selecting the technologies, and how the choice of the correct cloud instances configuration has a not-negligible impact on the costs.

L'obiettivo di questa tesi è la realizzazione di una metodologia per stimare le dimensioni ed i costi di una infrastruttura informatica, che utilizzi il cloud, adibita all'analisi dei Big Data. La tesi si colloca nel contesto del progetto H2020 DataBench, finanziato dalla Commissione europea, il cui obiettivo principale è quello di analizzare e capire le relazioni che collegano i processi di benchmarking tecnico (su software e tecnologie) agli indicatori di business (KPIs): cioè, cerca di colmare il divario tra le comunità che realizzano benchmark tecnici ed i parametri economici, usati dalle aziende, per esprimere il loro rendimento. Il nostro lavoro ha contribuito allo sviluppo di un metodo sistematico, capace di stimare i costi di un sistema informatico dedicato all'analisi di grandi quantità di dati; ciò è importante in una prospettiva manageriale, poiché le scelte tecniche possono influenzare il costo finale dell'architettura. Per poter realizzare la nostra metodologia, abbiamo analizzato più di 700 articoli di letteratura scientifica, di progetti europei e, anche, articoli riguardanti soluzioni informatiche realmente realizzate dalle aziende. Abbiamo sviluppato diversi blueprints architetturali, per descrivere gli scenari più frequenti riguardanti l'analisi dei Big Data, identificati per mezzo della precedente analisi. Successivamente, abbiamo fornito la metodologia che, partendo dal design di un'architettura reale come combinazione dei vari blueprints, produce la stima delle sue dimensioni ed il suo costo, nel caso di utilizzo del cloud. Abbiamo applicato questa metodologia proposta a due casi industriali reali, appartenenti a due diversi settori: la vendita al dettaglio e le telecomunicazioni. Infine, abbiamo evidenziato come i costi finali possano essere minimizzati, o semplicemente ridotti, effettuando un processo di benchmarking sulle tecnologie disponibili, prima di decidere quale applicare, e di come la corretta scelta delle istanze cloud (numero e tipologia) ha un impatto non trascurabile sui costi finali.