Quality of PPIs and event logs : dependency analysis and validation

A successful use of business processes implies measuring its performance, and acting on the results to achieve the business goals. One of the main tools to measure the performance of a process is the evaluation of Process Performance Indicators (PPI). PPIs are calculated based on process event logs, which contain data of the process execution, such as when an operation start or end, and who is its initiator. If the event logs are of low quality, e.g., containing incomplete or incorrect data, the measurements of the PPI can portray a distortion of the reality. Consequently, the incorrect PPI values lead to an erroneous perception of the business activities, impacting also the decisions that are made. In this perspective, this thesis uses as leverage the clear definition of the process model to characterize the link between the quality of event logs and the measurement of PPIs. More specifically, we propose a framework for the evaluation of the data quality (DQ) of a PPI from its deployment to its validation. Deployment considers the capacity of a business of measuring the most significant PPIs for its goals, and analyses the authorization and accessibility dimensions. Validation aims at ensuring the measures achieve acceptable DQ levels for the use in decision-making activities. For this analysis, we consider the traditional DQ dimensions of accuracy, completeness, consistency and volume, and propose a novel dimension, maturity, that assesses the probability of change of data in event logs. According to the results, the model considers how to individuate the root causes of the encountered issues and formulate corrective measures to prevent recurrence. A case study in a large sized financial institution demonstrates the correctness and applicability of the framework. The case study defines the indicators from the internal audit perspective. In this context, the business decisions are not made based only on the performance of a process but also on its correctness, efficacy, efficiency and effectiveness. Hence, also the process indicators are defined considering the context, and appertain to the class of Key Audit Indicators (KAI).

Un efficace utilizzo dei processi aziendali implica la misurazione delle loro prestazioni e una conseguente azione basata sui risultati ottenuti per raggiungere gli obiettivi aziendali. Uno degli strumenti principali per misurare le prestazioni sono gli Indicatori di Prestazione di Processo (PPI - Process Performance Indicators). PPIs sono calcolati in base ai process event logs, che contengono informazioni relazionate all’esecuzione dei processi, quali il timestamp e l’attivatore di un cambiamento di stato. Pertanto, se gli event log sono di scarsa qualità, e.g., contenenti dati incompleti o non corretti, le misurazioni dei PPI risulteranno in una distorsione della realtà. Di conseguenza, i valori PPI errati porteranno all’effettuare un’analisi scorretta, influenzando anche le azioni intraprese. Partendo da questa considerazione, questa tesi si pone l’obiettivo di caratterizzare il collegamento tra la qualità degli event log e le misurazioni dei PPI, facendo leva sulla definizione di Process Model. Più specificamente, offriamo un framework per la valutazione della qualità dei dati (DQ - Data Quality) di un PPI dalla sua implementazione alla sua convalida. L’implementazione tiene conto della capacità di un’azienda di misurare i PPI più significativi per i propri obiettivi e analizza le dimensioni di autorizzazione e accessibilità. La convalida mira a garantire che la DQ sia entro limiti accettabili per permettere attività decisionali. Per questa analisi, consideriamo le tradizionali dimensione di DQ di accuratezza, completezza, coerenza e volume, e proponiamo una nuova dimensione, maturità, che valuta la probabilità di cambiamento dei dati negli event logs. In base ai risultati, il modello considera come individuare le cause alla radice dei problemi riscontrati e come formulare misure correttive per prevenire la ricorrenza. Un caso di studio in un istituto finanziario di grandi dimensioni dimostra la correttezza e l’applicabilità del framework. Il caso di studio definisce gli indicatori dal punto di vista dell’internal audit. In questo contesto, le decisioni aziendali non vengono prese in base solo alla performance di un processo ma anche alla sua correttezza, efficacia , efficienza ed effetività. Dunque, anche gli indicatori di processo sono definiti considerando il contesto e si riferiscono alla classe dei Key Audit Indicator (KAI).