Process Mining Compliance: Theoretical Case Analysis Through a System Event Perspective

This thesis explores the application of process mining compliance techniques and tools to assess conformance in a hospital procurement process. The study leverages system and data events, rather than traditional activity logs, to predict events and detect errors in business process instances. The research is part of the CS-AWARE-NEXT project, funded under the Horizon Europe program, which aims to enhance cybersecurity awareness in publicly administrated entities. Specifically, this work focuses on identifying cybersecurity incidents in the procurement processes of two public hospitals. The methodology includes developing synthetic system event logs based on the procurement business process, creating various models to simulate different data availability scenarios, and applying conformance-checking techniques through the development of five different models based on the available data and the complexity of each. The primary models evaluated include scenarios with complete event logs, missing event keys, and missing trace identifiers. The results demonstrate the effectiveness of using system and data logs for process mining in the absence of direct business activity logs. Key findings indicate that models using reference events and predictive techniques for missing attributes can effectively detect anomalies, at the same time, it is observed how critical is trace individualization when applying process conformance techniques. The study also highlights the impact of trace density and total events with errors on the model’s performance, analyzed using standard metrics such as accuracy and F1 score. Recommendations are provided for implementing these models in real-world settings, emphasizing the importance of different attributes and further analysis and development that could generate better performance.

Questa tesi esplora l'applicazione di tecniche e strumenti di process mining per valutare la conformità in un processo di approvvigionamento. Lo studio sfrutta gli eventi del sistema e dei dati, piuttosto che i tradizionali registri delle attività, per prevedere gli eventi e rilevare gli errori nelle istanze dei processi aziendali. La ricerca fa parte del progetto CS-AWARE-NEXT, finanziato nell'ambito del programma Horizon Europe, che mira a migliorare la consapevolezza della cybersicurezza nelle entità amministrate pubblicamente. In particolare, questo lavoro si concentra sull'identificazione degli incidenti di cybersecurity nei processi di approvvigionamento di due ospedali pubblici. La metodologia prevede lo sviluppo di registri sintetici degli eventi di sistema basati sul processo di approvvigionamento, la creazione di vari modelli per simulare diversi scenari di disponibilità dei dati e l'applicazione di tecniche di verifica della conformità attraverso lo sviluppo di cinque diversi modelli in base ai dati disponibili e alla complessità di ciascuno. I modelli principali valutati comprendono scenari con registri eventi completi, chiavi eventi mancanti e identificatori di traccia mancanti. I risultati dimostrano l'efficacia dell'uso dei registri di sistema e dei dati per l'estrazione dei processi in assenza di registri diretti delle attività aziendali. I risultati principali indicano che i modelli che utilizzano eventi di riferimento e tecniche predittive per gli attributi mancanti possono rilevare efficacemente le anomalie; allo stesso tempo, si osserva quanto sia critica l'individualizzazione delle tracce quando si applicano tecniche di conformità dei processi. Lo studio evidenzia anche l'impatto della densità delle tracce e del totale degli eventi con errori sulle prestazioni del modello, analizzate utilizzando metriche standard come l'accuratezza e il punteggio F1.Vengono fornite raccomandazioni per l'implementazione di questi modelli in contesti reali, sottolineando l'importanza di diversi attributi e di ulteriori analisi e sviluppi che potrebbero generare prestazioni migliori.