A methodology for validation of data quality assessment techniques and an application in risk management area

Despite a lot of researches and activity related to Data Quality (DQ), the field lacks objective methodologies for the validation of both DQ dimensions weights and controls. Here, we develop such a methodology, which we call Data Fault Injection, to form an objective basis in order to address these issues. In particular, this methodology consists in the insertion of alterations within data used as input of business processes in order to derive some results to use as starting points to conduct specific analysis. Thanks to the proposed methodology it is possible to measure the impact of each anomaly on the final process output and then to determine the difference between the result obtained with correct data and the one obtained with erroneous data. The ultimate purpose of this analysis, however, is to objectively obtain a grading of the DQ dimensions, often arranged in a subjective manner, that allows validating the current assigned weights and to assess the adequacy of the existing quality controls actually defined in a totally expert-based way. A further contribution obtained by applying this methodology regards the possibility of validating process behaviors after the occurrence of abnormal situations. The methodology presented in this thesis has then been applied in the context offered by the Risk Management area in UniCredit S.p.A..

Nonostante le molte ricerche e attività legate al tema della Data Quality (DQ), nel settore non è ancora stata sviluppata una metodologia per la validazione sia dei pesi assegnati alle dimensioni di DQ sia dei controlli. In questa tesi viene proposta una metodologia, chiamata Data Fault Injection, che fornisce una base oggettiva per cercare di risolvere tali problemi. In particolare, questa metodologia consiste nell’inserimento di alterazioni all’interno di dati utilizzati come input dai processi di business in modo da ottenere risultati da utilizzare come punto di partenza per condurre analisi specifiche. Grazie alla metodologia proposta è infatti possibile misurare l'impatto di ogni singola anomalia sul risultato finale del processo e determinare quindi lo scarto tra il risultato ottenuto con un dato corretto e quanto ottenuto con un dato errato. Il fine ultimo di queste analisi, comunque, è quello di riuscire ricavare in maniera oggettiva un grading delle dimensioni di DQ, spesso ordinate in maniera soggettiva, che consenta di validare i pesi attualmente assegnati e valutare il livello di adeguatezza dei controlli di quality esistenti, definiti in maniera totalmente expert-based. Un ulteriore contributo ottenuto dall'applicazione di tale metodologia riguarda la possibilità di validare i comportamenti assunti dai processi a seguito del verificarsi di situazioni anomale. La metodologia proposta in questo elaborato è stata poi riportata nel contesto offerto dall'area di Risk Management di UniCredit S.p.A..