UNA METODOLOGIA PER IL CONFRONTO TRA SERVIZI HADOOP NEL CLOUD

In the last years, the company’s focus on the analysis of large amounts of data (big data) in order to extract more information from available data and to be able to find hidden patterns. In this scenario, data analysis it turns out to be essential and the Hadoop framework is very practical. For big companies have a big computer system is the practice but for small businesses or for those emerging, the expense for server purchase can be a substantial cost factor, and here comes into the cloud. Through cloud each entity may access a lot of computing power compared to a minimum initial expense but it can become extremely expensive with increasing hours of use. Therefore it has become necessary estimate in advance whether to face the processing of big data via a proprietary system or use the cloud provider. The purpose of this thesis is to try to offer a system to estimate the expenses to be incurred on a monthly basis for the processing of information, and to be able to understand if the cloud is an affordable solution, or is more appropriate to buy servers. Through the cloud users are forced to choose default instances while in the case of the server purchase you can choose the most appropriate features. In the development of the thesis, we will show how the cloud service is good for short elaboration and sporadic processing while the system in house is much more convenient for long elaborations and repeat.

Negli ultimi anni le aziende si sono concentrate maggiormente sull’analisi di grandi quantità di dati (big data) per poter estrarre maggiori informazioni dai dati disponibili e per poter trovare dei modelli nascosti in modo da poter affrontare al meglio il mercato. In questo scenario l’analisi dei dati risulta essere essenziale e, a supporto degli analisti, il framework Hadoop risulta essere molto pratico. Per le grandi aziende avere un sistema di elaborazione è la prassi ma per le piccole imprese o per quelle emergenti affrontare la spesa per l’acquisto di server può essere un fattore di costo sostanzioso e qui entra in gioco il cloud. Tramite il cloud ogni persona/ente può accedere a molta potenza di calcolo a fronte di una spesa iniziale minima ma che può diventare estremamente onerosa all’aumentare delle ore di utilizzo. Pertanto è diventato necessario stimare in anticipo se affrontare l’elaborazione dei big data tramite un sistema in house oppure utilizzare i provider cloud. Lo scopo di questa tesi è cercare di offrire una metodologia e uno strumento software per poter stimare le spese da sostenere mensilmente per l’elaborazione delle informazioni, e per poter capire se il cloud è una soluzione conveniente oppure se è più opportuno l’acquisto di server. Come ovvio che sia, tramite cloud si è obbligati a scegliere istanze già predefinite mentre nel caso dell’acquisto del server si possono scegliere le caratteristiche più opportune. Nello sviluppo della tesi si mostrerà come il servizio cloud sia ottimo per elaborazioni sporadiche e/o di breve durata mentre il sistema in house risulta essere molto più conveniente per elaborazioni lunghe e ripetute nel tempo.