Enabling flexibility of data-intensive applications on container-based systems with Node-RED in fog environments

Fog Computing extends the Cloud Computing to the Edge of the network, closer to the things that produce and act on data including different types of devices, ranging from personal computers, laptops, workstations to IoT devices, wearable gadgets and sensors. Having the right data at the right place without breaking legal issues and policies related to privacy is crucial in data-intensive applications, especially in Fog computing where data could be produced and consumed at both Edge and Cloud. In general, there are two approaches to tackle this problem – move the data or move the computation tasks. In this case, we focus on the latter – the computation task movement. The goal of this thesis is to explore state-of-the-art concepts and utilize the state-of-the-art technologies for container-based virtualization and development of data-intensive applications in order to design and implement a framework which gives ability to move computation tasks between Cloud and Edge in case of mixed architecture execution environment – the so-called Fog Computing, as a way to deal with issues of privacy and latency in data-intensive applications and taking into account the heterogeneity of devices executing the tasks. As a result of the research carried out during the thesis, a framework for task movement in Fog environment has been developed, using Node-RED development tool, Docker containers as task abstraction and exploiting the capabilities of Docker Swarm container management system to allocate tasks. The main advantage of the solution that it provides flexibility of data-intensive applications, without distracting application developers from focusing on the business logic. It is completely transparent to them where is the task executed – whether it is a personal computer, workstation, virtual machine in Cloud or IoT device. Thus, it is possible to keep the same structure of the application even after the changes of legal regulations, privacy/security policies and network condition.

Fog Computing estende il Cloud Computing verso la frontiera della rete (i.e., Edge), vicino a dispositivi che producono e agiscono sui dati, tra cui: personal computer, workstations, dispositivi IoT, wearables, sensori e altro. Avere il dato rilevante nel posto giusto e senza violare vincoli di privacy è cruciale soprattutto per le applicazioni data-intensive, specialmente quando si considera il Fog Computing dove i dati possono essere prodotti e consumati sia nell’Edge che nel Cloud. In generale, vi sono due approcci per affrontate questo problema: spostare i dati o spostare i task che operano sui dati. Questo lavoro si concentra sul secondo caso: il task movement. Scopo della tesi è di esplorare lo stato dell’arte, sia in termini di concetti che di tecnologie, relativo alla virtualizzazione dei container e allo sviluppo di applicazioni data-intensive col fine di progettare e implementare un framework in grado di migrare i computation task tra Cloud e Edge, considerando anche architetture elaborative eterogenee. Tutto ciò ha prodotto un framework per il task movement in ambiente Fog che utilizza Node-RED per lo sviluppo di applicazioni data-intensive, Docker container per l’esecuzione dei task, e Docker Swarm per il deployment dinamico dei task. Il vantaggio principale della soluzione proposta è la flessibilità fornita alle applicazioni di tipo data-intensive, lasciando allo sviluppatore il solo compito di definire la logica applicativa senza preoccuparsi di dove il task verrà eseguito: su un personal computer, una workstation, o una Virtual Machine su Cloud. Questo permette di riorganizzare in modo trasparente l’applicazione per soddisfare requisiti, quali quelli di privacy, che potrebbero limitare il data movement.