StreamWARE: enabling efficient stream processing in FIWARE

The Internet of Things (IoT) contributes to the development of smart cities and smart building applications, demanding IoT platforms that precisely align with the applications’ needs. Among the available platforms, FIWARE stands out for its modular architecture, robust data and context management capabilities, and extensive support for various protocols. However, FIWARE does not natively support real-time data processing and aggregations over sensor measurements, a paramount necessity in our domain of interest as it facilitates decision-making processes and contributes to deriving a high-level environment representation from the aggregated data. Existing solutions that try to solve this gap entirely rely on the FIWARE component in charge of managing data and measurements, making it the system’s bottleneck and resulting in decreased performance. Moreover, these solutions partially consider the interconnections between sensors and the entities in the physical environment, negatively affecting the richness and depth of data aggregation. This thesis addresses these limitations by presenting StreamWARE, a modification to the original FIWARE architecture to support data aggregation and real-time data processing functionality natively. StreamWARE introduces a streaming component responsible for this task, which interacts with the rest of the system to fetch measurement data and collect the entities from the physical environment. This approach alleviates the workload on the system bottleneck and allows for an efficient data aggregation process that comprises the sensors’ connections with real-world entities. Additionally, this component allows the developer to choose the most suitable streaming engine by selecting the proper adapter. Our evaluation results demonstrate that StreamWARE effectively reduces the burden on the bottleneck, leading to a remarkable 50% reduction in the number of packets flowing through this component. This accomplishment significantly improves the overall scalability and the performance of the entire system, incrementing the throughput in computing aggregate data by up to 30%. Moreover, StreamWARE supports a higher rate of incoming measurements, reaching 350 measurements per second, compared to the maximum of 250 measurements per second that current state-of-the-art solutions support.

L’Internet delle cose (IoT) contribuisce allo sviluppo di applicazioni nell’ambito delle smart cities e degli edifici intelligenti, richiedendo piattaforme IoT che si allineino precisamente alle esigenze di queste applicazioni. Tra le piattaforme disponibili, FIWARE si distingue per la sua architettura modulare, l’avanzata gestione dei dati ed il supporto ad un elevato numero di protocolli. Tuttavia, FIWARE non supporta nativamente l’elaborazione e aggregazione dei dati provenienti dai sensori in tempo reale, funzionalità di vitale importanza nel nostro campo di interesse poichè permettono di avere una visione ad alto livello dell’intero sistema ed un maggiore controllo sull’ambiente circostante. Le attuali soluzioni che cercano di soddisfare queste necessità impattano negativamente sulle prestazioni dell’unico componente di FIWARE che gestisce i dati e le misurazioni dei sensori, rendendolo il collo di bottiglia dell’intero sistema. Inoltre, esse non sfruttano appieno le connessioni tra i sensori e gli oggetti presenti nell’ambiente fisico, riducendo l’espressività nella logica di aggregazione dei dati. Questa tesi affronta queste limitazioni proponendo StreamWARE, una modifica all’architettura originaria di FIWARE per supportare nativamente l’aggregazione dei dati e la loro elaborazione in tempo reale. StreamWARE introduce un componente di streaming per supportare queste funzionalità, interagendo con l’intero sistema per recuperare le misurazioni dei sensori ed ottenere informazioni circa gli elementi che costituiscono l’ambiente circostante. Questo approccio allevia il carico di lavoro sul collo di bottiglia del sistema e consente un’aggregazione dei dati che include le connessioni dei sensori con l’ambiente fisico. Questa architettura permette inoltre al programmatore di scegliere l’engine più appropriato, mediante l’utilizzo dell’opportuno adattatore. I risultati sperimentali mostrano che StreamWARE riduce del 50% il numero di pacchetti che attraversano il collo di bottiglia nel sistema, allegerendone pertanto il carico. Questo risultato migliora notevolmente la scalabilità e le prestazioni dell’intero sistema, comportando un aumento fino al 30% del throughput di elaborazione dei dati. Inoltre, StreamWARE supporta un rate più elevato di misurazioni in arrivo, raggiungendo 350 misurazioni al secondo, rispetto al massimo di 250 che le attuali soluzioni supportano.