A software architecture framework for model-driven big data applications

Big Data technologies are rapidly becoming a key enabler in the industry. Yet, costs of being able to use benefits of Big Data is immense, ranging from learning curve, recruiting experts, infrastructures. However, one of the key barriers in Big Data is the time spent on developing Big Data applications and their effective deployment on an ad-hoc technology. To tackle the mentioned key obstacle, this thesis advocates the support of Big Data designers and developers by offering a Model-Driven support. In particular, this work uses conceptual analysis techniques to infer the relevant parts of each technology in big data and to clarify its relationships and attributes. In addition, using an exploratory approach, we created meta-models to produce a support tool that makes it possible for developers/designers to model a big data application in a fast and agile approach, without having to spend the cost of typical learning curve for the technologies involved. The approach evaluated using three different case studies. These showed a significant reduction in the time and effort required to deploy and makes more accurate aspects of the architecture and specifications of the Big Data applications. As a result, companies interested in the use of Big Data technologies will be able to release their products to market in a fraction of the time that is normally required.

Le tecnologie Big Data stanno rapidamente diventando un fattore chiave in industria. Tuttavia, i costi per utilizzare i benefici di Big Data possono essere immensi e vanno dalla necessità di superare una curva di apprendimento molto ripida, alla difficoltà nel reclutare esperti, ai problemi connessi con l’operatività di infrastrutture di supporto complesse. Queste difficoltà rendono lo sviluppo e la gestione operativa di applicazioni per Big Data attività molto complesse che richiedono un’ampia disponibilità di tempo. Per sostenere il lavoro di progettisti e sviluppatori questa tesi adotta un approccio guidato da modelli (model-driven). In particolare, questo lavoro sfrutta tecniche di analisi concettuale per dedurre i gli elementi rilevanti di ciascuna tecnologia Big Data e le relazioni e attributi tra tali elementi. Inoltre, utilizzando un approccio esplorativo, abbiamo creato meta-modelli per produrre uno strumento di supporto che rende possibile per gli sviluppatori / designer di modellare una applicazione Big Data in maniera agile e veloce, senza dover spendere il costo inerente alla curva di apprendimento tipica per le tecnologie coinvolte. L’approccio sviluppato è stato valutato utilizzando tre casi di studio distinti. Questi hanno evidenziato una notevole riduzione del tempo e dello sforzo richiesto di implementazione e rende più accurati gli aspetti inerenti all’architettura e le caratteristiche tecniche dell’applicazione Big Data sviluppata. Di conseguenza, aziende interessate all’utilizzo di tecnologie Big Data saranno in grado di rilasciare i loro prodotti sul mercato in una frazione del tempo normalmente necessario.