Polyflow: a framework to prototype continuous query processors

Data Stream Management Systems (DSMSs) are a family of systems engineered to deal with unbounded streams of data. State-of-the-art solutions, such as Apache Flink and Spark Structured Streaming, do an excellent job in meeting the strict latency and throughput requirements of stream processing. However, such systems are oriented towards the relational data model and extending them to support new type of applications is not trivial. Moreover, the lack of a standard architecture for DSMSs and the different execution semantics of existing solutions add an extra layer of complexity when reasoning about their internal structure. To tackle the issue, this work presents Polyflow, a framework created to prototype the execution engine of DSMSs. Polyflow is based on established work, namely CQL and SECRET, and offers all the necessary abstractions to implement type-agnostic and reusable components that together describe the process of Continuous Querying.

I Sistemi di Gestione dei Flussi di Dati (Data Stream Management Systems, DSMSs) sono una famiglia di sistemi progettati per gestire flussi di dati potenzialmente illimitati. Le soluzioni più avanzate, come Apache Flink e Spark Structured Streaming, eccellono nel soddisfare i rigorosi requisiti di latenza e throughput richiesti dall'elaborazione di tali flussi. Tuttavia, questi sistemi sono orientati al modello di dati relazionale e estenderli per supportare nuovi tipi di applicazioni non è banale. Inoltre, la mancanza di un'architettura standard per i DSMS e le diverse semantiche di esecuzione delle soluzioni esistenti aggiungono un ulteriore livello di complessità nell'analisi della loro struttura interna. Per affrontare il problema, questo lavoro presenta Polyflow, un framework creato per prototipare il motore di esecuzione dei DSMS. Polyflow si basa su lavori consolidati, come CQL e SECRET, e offre tutte le astrazioni necessarie per implementare componenti riutilizzabili e indipendenti dal tipo di dato scelto, che insieme descrivono il processo di interrogazione continua (Continuous Querying).