An in-depth study of window operations in modern stream processing engines

This thesis investigates window operations within modern Stream Processing Engines (SPEs), focusing on state stores' handling and algorithmic overview of key operations during stream segmentation. We explore the complexities of stream processing, offering a detailed operational perspective on window management. Our work evaluates leading engines' performance and proposes a unified model that connects theoretical concepts with practical implementations. Through rigorous analysis and experimental validation, this study clarifies the complexities of window operations, contributing significantly to efficient and effective stream processing solutions. Our research employs the Macro-Meso-Micro framework to systematically address the challenges faced by SPEs, from benchmarking SPEs at a macro level to evaluating windowing operators at a micro level. By applying this structured approach, we extract critical insights into stream processing models and engines, focusing on Apache Flink® and Apache Spark™. The results not only highlight the operational efficiencies of these engines but also clarify the possible optimizations and future developments in stream processing technologies.

Questa tesi analizza le operazioni di finestrazione all'interno di moderni sistemi di elaborazione dei flussi di dati (SPE), concentrandosi sulla gestione della memorizzazione degli stati e sulla panoramica algoritmica delle operazioni chiave durante la segmentazione dei flussi di dati. Esploriamo le complessità dell'elaborazione, offrendo una prospettiva operativa dettagliata sulla gestione delle finestre. Il nostro lavoro valuta le prestazioni dei principali sistemi e propone un modello unificato che collega i concetti teorici alle implementazioni pratiche. Attraverso un'analisi rigorosa e una convalida sperimentale, questo studio chiarisce le complessità delle operazioni di finestrazione, contribuendo in modo significativo alle soluzioni di Stream Processing efficienti ed efficaci. La nostra ricerca impiega il framework Macro-Meso-Micro, dal benchmarking degli SPE a livello macro alla valutazione degli operatori di windowing a livello micro. Applicando questo approccio strutturato, si estraggono informazioni critiche sui modelli e sui sistemi di elaborazione dei flussi di dati, concentrandosi su Apache Flink® e Apache Spark™. I risultati non solo evidenziano le efficienze operative di questi sistemi, ma chiariscono anche le possibili ottimizzazioni e gli sviluppi futuri delle tecnologie di Stream Processing.