Neural Networks as Universal Function Approximators for Causal Discovery with Reinforcement Learning

Causal discovery is the process of identifying causal relationships among variables from data, leveraging statistical techniques to uncover the underlying causal structures. One of the methods for discovering these structures is by maximizing a score that evaluates the quality of the proposed structure. Among the various approaches, Reinforcement Learning (RL) has proven to be particularly effective. However, the existing approach often makes strong assumptions about the underlying data structure, which can limit its applicability. This thesis proposes a novel method to relax these assumptions. Instead of relying on Gaussian Process Regression, which is used in a previous study, this approach utilizes Multi-layer Perceptrons (MLPs). The study rigorously evaluates the proposed enhancements using synthetic datasets with known causal structures. Key performance metrics, including False Discovery Rate, True Positive Rate, and Structural Hamming Distance, reveal that the MLP-based method significantly outperforms the original model and other advanced techniques. These results underscore the method’s superior ability to accurately capture intricate causal dependencies. Additionally, the technique shows potential for future extensions to handle categorical variables. This thesis demonstrates that integrating Multi-layer Perceptrons within the Reinforcement Learning framework developed in a previous study substantially advances the accuracy and reliability of causal discovery. This integration has valuable implications for enhancing causal inference and decision-making processes across various domains. The findings suggest several promising directions for future research, including integrating more sophisticated Neural Network architectures and leveraging the versatility of Multi-layer Perceptrons for classification tasks. Further applications to real-world datasets could also be explored, potentially enhancing the practical utility and effectiveness of these models.

Causal discovery è il processo di identificazione delle relazioni causali tra variabili a partire dai dati, utilizzando tecniche statistiche per scoprire le strutture causali sottostanti. Uno dei metodi per scoprire queste strutture è massimizzare un punteggio che valuta la qualità della struttura proposta. Tra i vari approcci, il Reinforcement Learning (RL) si è dimostrato particolarmente efficace. Tuttavia, l’approccio esistente spesso presuppone forti assunzioni sulla struttura dei dati sottostanti, il che può limitarne l’applicabilità. Questa tesi propone un metodo innovativo per rilassare queste assunzioni. Invece di fare affidamento sulla Gaussian Process Regression, utilizzata in uno studio precedente, questo approccio utilizza Multi-layer Perceptrons (MLP). Lo studio valuta rigorosamente i miglioramenti proposti utilizzando dataset sintetici con strutture causali note. Metriche di performance, tra cui False Discovery Rate, True Positive Rate e Structural Hamming Distance, rivelano che il metodo basato su MLP supera significativamente il modello originale e altre tecniche avanzate. Questi risultati sottolineano la superiore capacità del metodo di catturare accuratamente le complesse dipendenze causali. Inoltre, questa tecnica può essere potenzialmente estesa in futuro alle variabili categoriche. La presente tesi dimostra che integrare Multi-layer Perceptrons nel framework di Reinforcement Learning sviluppato in uno studio precedente migliora sostanzialmente la precisione e l’affidabilità della scoperta causale. Questa integrazione offre importanti implicazioni nello studio dell’inferenza causale e dei processi decisionali in varie aree. I risultati suggeriscono diverse direzioni promettenti per la ricerca futura, tra cui l’integrazione di architetture neurali più sofisticate e la valorizzazione della versatilità dei Multi-layer Perceptrons per compiti di classificazione. Potrebbero anche essere esplorate ulteriori applicazioni a dataset reali, potenzialmente migliorando l’utilità pratica e l’efficacia di questi modelli.