High-performance data management in industrial IoT: enhancing performance and scalability for massive time-series datasets

In the context of industrial digitalization and the Internet of Things (IoT), managing massive data flows represents a critical challenge for the scalability of cloud infrastructures. This thesis analyzes the engineering and optimization of the Servitly platform, focusing on the transition from legacy models to high-performance NoSQL solutions based on MongoDB. The research addresses three fundamental architectural challenges. First, the introduction of the Single Path Model optimizes hierarchical authorization management through bitmask encoding, drastically reducing RAM load and ensuring constant response times. Second, a variable granularity tiered storage strategy for time series is defined, capable of balancing analytical precision with storage efficiency. Finally, a hybrid aggregation pipeline is implemented to enable dynamic pagination and sorting of KPIs over arbitrary time periods, switching between on-demand processing and asynchronous models based on the estimated computational cost. The work integrates a comparative analysis with specialized technologies such as ScyllaDB and InfluxDB, outlining a roadmap for extreme scalability scenarios through the use of columnar storage and wide-column architectures. The conclusions confirm the effectiveness of the optimizations introduced within the MongoDB environment and establish the methodological foundations for the future integration of Generative Artificial Intelligence agents and Retrieval-Augmented Generation (RAG) systems enhanced by Knowledge Graphs. This evolution aims to transform the platform into an interactive and proactive decision-support tool for field technicians and maintenance operators.

Nel contesto della digitalizzazione industriale e dell’Internet of Things (IoT), la gestione di flussi massivi di dati rappresenta una sfida critica per la scalabilità delle infrastrutture cloud. Il presente lavoro di tesi analizza l’ingegnerizzazione e l’ottimizzazione della piattaforma Servitly, focalizzandosi sull’ottimizzazione delle architetture preesistenti verso soluzioni NoSQL altamente performanti basate su MongoDB. La ricerca affronta tre sfide architettoniche fondamentali. In primo luogo, l’introduzione del Single Path Model ottimizza la gestione delle autorizzazioni gerarchiche tramite una codifica bitmask, riducendo drasticamente il carico sulla RAM e garantendo tempi di risposta costanti. In secondo luogo, viene definita una strategia di tiered storage a granularità variabile per le serie temporali, capace di bilanciare la precisione analitica con l’efficienza dello storage. Infine, viene implementata una pipeline di aggregazione ibrida che abilita la paginazione e l’ordinamento dinamico di KPI su periodi arbitrari, commutando tra elaborazioni on-demand e modelli asincroni in base al costo computazionale stimato. Il lavoro integra un’analisi comparativa con tecnologie specialistiche quali ScyllaDB e InfluxDB, delineando una roadmap per scenari di scalabilità estrema tramite l’uso di storage colonnari e architetture wide-column. Le conclusioni confermano l’efficacia delle ottimizzazioni introdotte in ambiente MongoDB e pongono le basi metodologiche per l’integrazione futura di agenti di Intelligenza Artificiale Generativa e sistemi RAG (Retrieval-Augmented Generation) potenziati da Knowledge Graph. Tale evoluzione mira a trasformare la piattaforma in uno strumento di supporto decisionale interattivo e proattivo per tecnici e manutentori.