TARDIS: TAbulaR Distillation and Inference-time Sampling framework

In the past decade, Generative Artificial Intelligence has significantly expanded the horizons of data science, offering solutions to critical challenges such as data scarcity, class imbalance, and privacy regulations as GDPR. While significant progress has been made in image and text generation, synthesizing high-fidelity tabular data remains complex due to heterogeneous feature types, non-Gaussian distributions, and the lack of spatial correlation. To address these limitations, this thesis introduces TARDIS (TAbulaR Distillation and Inference-time Sampling), a comprehensive generative pipeline designed to maximize the utility and quality of synthetic tabular data. The proposed framework decouples the generation process into a modular four-stage architecture that can be applied to existing pre-trained generative backbones without requiring architectural modifications. The pipeline begins with Oversampling Generation, creating a high-cardinality candidate pool to expand the data manifold. This is followed by Inference-Time Guidance, which steers the sampling process toward high-utility regions using a differentiable distance metric within a Tabular β-VAE latent space. The third stage, Generative Knowledge Distillation, refines the data by utilizing a teacher classifier to assign soft-label probability distributions, enhancing the information density of the synthetic records. Finally, Optimal Subsampling algorithms select the most representative subset of data to achieve peak performance at a target cardinality. Extensive experiments were conducted on ten datasets across binary classification, multiclass classification, and regression tasks. The framework outperforms state-of-the-art baselines, and demonstrates the capacity to exceed the predictive performance of real-world datasets. The experiments confirmed a +3.4% average improvement over the real datasets in the downstream predictive tasks of the datasets, other than a +11.5% improvement over the state-of-the-art models. This thesis establishes TARDIS as a robust, privacy-preserving solution for tabular data synthesis, offering a flexible methodology for enhancing downstream predictive tasks in regulated environments.

Nell'ultimo decennio, l'Intelligenza Artificiale Generativa ha ampliato significativamente gli orizzonti della data science, offrendo soluzioni a sfide critiche come la scarsità di dati, lo sbilanciamento delle classi e le normative sulla privacy come il GDPR. Sebbene siano stati compiuti progressi significativi nella generazione di immagini e testi, la sintesi di dati tabulari altamente fedeli rimane complessa a causa di tipi di feature eterogenei, distribuzioni non Gaussiane e mancanza di correlazione spaziale. Per affrontare queste limitazioni, questa tesi introduce TARDIS (TAbulaR Distillation and Inference-time Sampling), una pipeline generativa completa progettata per massimizzare l'utilità e la qualità dei dati tabulari sintetici. Il framework proposto disaccoppia il processo di generazione in un'architettura modulare a quattro stadi che può essere applicata a backbone generativi preesistenti senza richiedere modifiche architetturali. La pipeline inizia con la Generazione tramite Oversampling, creando un pool di candidati ad alta cardinalità per espandere il manifold dei dati. Segue la Guida in fase di Inferenza (Inference-Time Guidance), che indirizza il processo di campionamento verso regioni ad alta utilità utilizzando una metrica di distanza differenziabile all'interno di uno spazio latente. Il terzo stadio, la Distillazione della Conoscenza Generativa, affina i dati utilizzando un classificatore Teacher per assegnare distribuzioni di probabilità (soft-labels), migliorando la densità informativa dei record sintetici. Infine, algoritmi di Subsampling Ottimale selezionano il sottoinsieme di dati più rappresentativo per raggiungere le massime prestazioni ad una cardinalità target. Sono stati condotti esperimenti su dieci dataset riguardanti task di classificazione binaria, classificazione multiclasse e regressione. I risultati ottenuti dal framework superano le baseline dello stato dell'arte e dimostrano di avere la capacità di eccedere le prestazioni su task predittive rispetto ai dataset reali. Gli esperimenti hanno dimostrato una crescita media nelle performance dei modelli riguardanti task predittive del +3.4% rispetto agli stessi modelli sui quali il training è stato effettuato a partire dai soli dati reali, mentre del +11.5% rispetto ai dati sintetici generati da modelli considerati stato dell'arte. Questa tesi afferma TARDIS come una soluzione robusta e rispettosa della privacy per la sintesi di dati tabulari, offrendo una metodologia flessibile per migliorare i task predittivi a valle in ambienti regolamentati.