A methodological framework for evaluating synthetic longitudinal clinical data: a case study on heart failure patients in Lombardy Region

Synthetic data generation has emerged as a key strategy for addressing the scarcity, sensitivity, and structural complexity of real-world clinical data. Beyond privacy preservation, synthetic data offers potential for dataset augmentation, domain adaptation, bias correction, and simulation of unseen clinical scenarios. However, the quality of synthetic data cannot be assumed, and existing evaluation approaches remain fragmented across dimensions of fidelity, utility, and privacy, using heterogeneous protocols that limit comparability and interpretability. This thesis proposes a structured evaluation framework for assessing synthetic data in healthcare settings, composed of two complementary components: an intrinsic evaluation based on a multi-dimensional suite of metrics covering fidelity, coverage, authenticity, and privacy; and a downstream evaluation grounded in survival analysis, examining both training contamination — where synthetic data replaces real data entirely — and synthetic augmentation — where it is progressively incorporated alongside real data. The framework is applied to a real-world administrative dataset of heart failure patients from the Lombardy Region (2006–2012), representative of the longitudinal structure, censoring, and noise characteristic of routine clinical records. The best-performing model achieves strong fidelity to the real data distribution without compromising privacy, and maintains consistent performance on the downstream survival task across both evaluation settings — training contamination, where synthetic data progressively replaces real data, and synthetic augmentation, where it is incorporated alongside it. Results illuminate the trade-offs between competing quality objectives and the conditions under which synthetic data can support or hinder clinically relevant time-to-event prediction. The proposed framework contributes a reproducible methodology for benchmarking generative models in realistic healthcare scenarios, with implications for the responsible deployment of synthetic data in data-scarce clinical environments.

La generazione di dati sintetici è emersa come strategia chiave per affrontare la scarsità, la sensibilità e la complessità strutturale dei dati clinici reali. Oltre alla tutela della privacy, i dati sintetici offrono un potenziale per l'augmentation dei dataset, l'adattamento di dominio, la correzione dei bias e la simulazione di scenari clinici non osservati. Tuttavia, la qualità dei dati sintetici non può essere data per scontata, e gli approcci di valutazione esistenti rimangono frammentati lungo le dimensioni di fidelity, utility e privacy, utilizzando protocolli eterogenei che limitano la comparabilità e l'interpretabilità. Questa tesi propone un framework di valutazione strutturato per la valutazione di dati sintetici in ambito sanitario, composto da due componenti complementari: una valutazione intrinseca basata su una suite multidimensionale di metriche che copre fidelity, coverage, authenticity e privacy; e una valutazione a valle (downstream) fondata sull'analisi di sopravvivenza, che esamina sia la training contamination — in cui i dati sintetici sostituiscono interamente i dati reali — sia la synthetic augmentation, in cui vengono progressivamente incorporati insieme ai dati reali. Il framework è applicato a un dataset amministrativo reale di pazienti con scompenso cardiaco della Regione Lombardia (2006–2012), rappresentativo della struttura longitudinale, della censura e del rumore caratteristici dei dati clinici di routine. Il modello con le prestazioni migliori raggiunge un'elevata fidelity rispetto alla distribuzione dei dati reali senza compromettere la privacy, e mantiene prestazioni coerenti sul task di sopravvivenza a valle in entrambi gli scenari di valutazione — training contamination, in cui i dati sintetici sostituiscono progressivamente quelli reali, e synthetic augmentation, in cui vengono incorporati insieme ad essi. I risultati mettono in luce i trade-off tra obiettivi di qualità in competizione tra loro e le condizioni in cui i dati sintetici possono supportare oppure ostacolare la previsione di eventi clinicamente rilevanti basata sul tempo (time-to-event). Il framework proposto contribuisce con una metodologia riproducibile per il benchmarking di modelli generativi in scenari sanitari realistici, con implicazioni per il dispiegamento responsabile di dati sintetici in contesti clinici caratterizzati da scarsità di dati.