Complex event processing under uncertainty : model, implementation and evaluation

A growing number of application domains has to deal with large amounts of incoming primitive events to detect, in real time, some desired event patterns and identify higher level composite events. This asks for a Complex Event Processing (CEP) middleware that, upon the pattern detection, is able to automatically materialize the new composite events as a combination of the primitive ones accordingly to some processing rules. Today there are a number of solutions for CEP, in both industry and research. All these systems offer, at different extents, support for the detection of complex patterns of events, event hierarchies and relationships among them. However, none of them offers solutions for the managing of events under uncertainty conditions. Often, certain knowledge of the external world cannot be guaranteed, due for example to data coming from imprecise sensors. In other cases, it may be simpler for end users to define processing rules in less precise or oversimplified terms. In these situations, assuming precise and certain events may lead to failure to detect event patterns properly or result in misrecognition of events in the real world. CEP under uncertain conditions is therefore to be considered a challenging topic that is far from being fully resolved within the current state of the art. This thesis is part of an ongoing research activity whose aim is to extend CEP under uncertainty, in order to obtain more faithful answers to the submitted rules. Specifically, we use probability theory, coupled with the Bayesian Network probabilistic graphical model, to augment event processing so that it can represent and deal with uncertainty. The result is CEPU (Complex Event Processing under Uncertainty), a new model that incorporates uncertainty in CEP systems and that is implemented as an extension of the T-Rex engine. CEPU supports the handling of both the uncertainty in the events and the uncertainty originating from the fact that rules oversimplify the behavior of the real world. The proposed solution extends the expressivity of the CEP models with the management of uncertainty, while keeping generality, simplicity and efficiency.

Molti domini applicativi richiedono la gestione in tempo reale di una grande quantità di eventi allo scopo di individuare in essi pattern di eventi primitivi da filtrare, combinare e aggregare per identificare eventi compositi di più alto livello. Ciò richiede l’impiego di sistemi CEP (Complex Event Processing) che, sulla base di regole elaborative, siano in grado di individuare i pattern di eventi ricercati e di generare i nuovi eventi compositi. Tutti i sistemi CEP esistenti, sia in ambito industriale che di ricerca, offrono, in misura diversa, supporto all’individuazione di pattern complessi di eventi, e di gerarchie di eventi. Tuttavia, nessuno di essi offre soluzioni per la gestione di eventi in condizioni d’incertezza. Spesso non è possibile garantire la conoscenza certa del mondo esterno, per esempio a causa di dati provenienti da sensori imprecisi. In altri casi, gli utenti finali possono trovare più semplice la definizione di regole d’elaborazione non del tutto precise o basate su assunzioni eccessivamente semplificate dell’ambiente esterno. In generale, assumere gli eventi precisi e certi può far fallire la corretta individuazione dei pattern di eventi ricercati e la conseguente corretta generazione di eventi compositi. Pertanto, l’elaborazione di eventi complessi in condizioni d’incertezza va considerata un argomento impegnativo che, allo stato dell’arte, è ben lontano dall’essere risolto. Questa tesi è parte di un lavoro di ricerca in corso che ha l’obiettivo di incorporare gestione dell’incertezza nei sistemi CEP, per ottenere risposte più accurate alle regole d’ elaborazione sottoposte al sistema. A tale scopo si fa uso della teoria della probabilità, abbinata con il modello grafico probabilistico delle Reti Bayesiane. Il risultato è CEPU (Complex Event Processing under Uncertainty), un nuovo modello che supporta sia la gestione dell’incertezza negli eventi che di quella dovuta a regole che offrono una visione semplificata del mondo reale. La soluzione proposta, validata e implementata come estensione del middleware T-Rex, estende l’espressività dei modelli CEP con la gestione dell’incertezza, pur conservando generalità, semplicità ed efficienza.