Radiomics-based classification of non-small cell lung cancer (NSCLC) histological subtypes is often limited by small, single-institution datasets, which constrain the training of robust machine learning classifiers. This study compares four synthetic data generator architectures (Gaussian Copula, TVAE, CTGAN, and Copula-GAN) in their ability to produce tabular radiomic data suitable for training classifiers that distinguish adenocarcinoma (ADN) from squamous cell carcinoma (SCC), using classification performance against a real-data baseline as a common benchmark for comparison. Two public CT collections (NSCLC Radiomics and NSCLC Radiogenomics) were merged to counteract their opposite class imbalances, yielding 344 patients. After radiomic feature extraction, reproducibility filtering through the Intraclass Correlation Coefficient (ICC), and minimum Redundancy Maximum Relevance (mRMR) selection, a 10-feature set was retained. The four synthesizer architectures were fitted on the training data and used to generate synthetic datasets, with hyperparameters tuned via the Overall Score, a model-agnostic quality score that measures statistical similarity between real and synthetic data, to preserve independence from the downstream classification task. Following a train-on-synthetic, test-on-real (TSTR) framework, 100 XGBoost classifiers per architecture were trained on synthetic data and evaluated, in terms of AUROC and AUPRC, against the real-data baseline through a patient-level bootstrap protocol and a non-inferiority testing approach. The real-data baseline achieved an AUROC of 0.734 and an AUPRC of 0.738. All four architectures exhibited a slight performance drop compared to the baseline; Gaussian Copula, TVAE, and Copula-GAN achieved high and comparable AUROC values (between 0.719 and 0.723), while CTGAN recorded the lowest (0.698). In terms of AUPRC, TVAE emerged as the top-performing architecture (0.725), closely followed by CTGAN (0.718), whereas Gaussian Copula and Copula-GAN showed a more marked reduction (0.678, 0.673). Overall, TVAE demonstrated the most consistent quality across both metrics. These findings provide preliminary evidence, in these datasets and classification task, for the potential role of synthetic data generation in mitigating data scarcity in radiomics-based NSCLC classification, and introduce a bootstrap-based non-inferiority evaluation protocol that is, in principle, applicable to other comparisons between real and synthetic data.

La classificazione radiomica dei sottotipi istologici del carcinoma polmonare non a piccole cellule (NSCLC) è spesso limitata dalla disponibilità di dataset di piccole dimensioni e provenienti da un singolo centro, che ostacolano l'addestramento di classificatori di machine learning robusti. Questo studio confronta quattro architetture di generatori di dati sintetici (Gaussian Copula, TVAE, CTGAN e Copula-GAN) nella loro capacità di produrre dati radiomici tabulari adatti all'addestramento di classificatori in grado di distinguere l'adenocarcinoma (ADN) dal carcinoma a cellule squamose (SCC), adottando come riferimento comune per il confronto le prestazioni di classificazione rispetto a una baseline addestrata su dati reali. Due collezioni pubbliche di immagini TC (NSCLC Radiomics e NSCLC Radiogenomics) sono state unite per compensare i rispettivi sbilanciamenti di classe, ottenendo una coorte di 344 pazienti. Dopo l'estrazione delle feature radiomiche, il filtraggio per riproducibilità tramite il coefficiente di correlazione intraclasse (ICC) e la selezione tramite minimum Redundancy Maximum Relevance (mRMR), è stato mantenuto un insieme di 10 feature. Le quattro architetture di sintetizzatori sono state addestrate sui dati di training e utilizzate per generare 100 dataset sintetici ciascuna; i relativi iperparametri sono stati ottimizzati tramite l'Overall Score, un indice di qualità indipendente dal modello che misura la somiglianza statistica tra dati reali e sintetici, così da preservare l'indipendenza dal task di classificazione a valle. Seguendo il paradigma train-on-synthetic, test-on-real (TSTR), per ciascuna architettura sono stati addestrati su dati sintetici 100 classificatori XGBoost, valutati in termini di AUROC e AUPRC rispetto alla baseline su dati reali, mediante un protocollo di bootstrap a livello di paziente e un approccio basato su test di non inferiorità. La baseline su dati reali ha ottenuto un AUROC di 0,734 e un AUPRC di 0,738. Tutte e quattro le architetture hanno mostrato un lieve calo prestazionale rispetto alla baseline; Gaussian Copula, TVAE e Copula-GAN hanno raggiunto valori di AUROC elevati e tra loro comparabili (tra 0,719 e 0,723), mentre CTGAN ha registrato il valore più basso (0,698). In termini di AUPRC, TVAE è risultata l'architettura migliore (0,725), seguita da vicino da CTGAN (0,718), mentre Gaussian Copula e Copula-GAN hanno mostrato una riduzione più marcata (0,678 e 0,673). Nel complesso, TVAE ha dimostrato la qualità più costante su entrambe le metriche. Questi risultati forniscono un'evidenza preliminare, limitatamente ai dataset e al task di classificazione considerati, del potenziale ruolo della generazione di dati sintetici nel mitigare la scarsità di dati nella classificazione radiomica dell'NSCLC, e introducono un protocollo di valutazione della non inferiorità basato su bootstrap, in linea di principio applicabile ad altri confronti tra dati reali e sintetici.

A non-inferiority framework for benchmarking synthetic data generation methods in CT radiomics-based classification of NSCLC histological subtypes

PAGLIARO, PAOLO
2025/2026

Abstract

Radiomics-based classification of non-small cell lung cancer (NSCLC) histological subtypes is often limited by small, single-institution datasets, which constrain the training of robust machine learning classifiers. This study compares four synthetic data generator architectures (Gaussian Copula, TVAE, CTGAN, and Copula-GAN) in their ability to produce tabular radiomic data suitable for training classifiers that distinguish adenocarcinoma (ADN) from squamous cell carcinoma (SCC), using classification performance against a real-data baseline as a common benchmark for comparison. Two public CT collections (NSCLC Radiomics and NSCLC Radiogenomics) were merged to counteract their opposite class imbalances, yielding 344 patients. After radiomic feature extraction, reproducibility filtering through the Intraclass Correlation Coefficient (ICC), and minimum Redundancy Maximum Relevance (mRMR) selection, a 10-feature set was retained. The four synthesizer architectures were fitted on the training data and used to generate synthetic datasets, with hyperparameters tuned via the Overall Score, a model-agnostic quality score that measures statistical similarity between real and synthetic data, to preserve independence from the downstream classification task. Following a train-on-synthetic, test-on-real (TSTR) framework, 100 XGBoost classifiers per architecture were trained on synthetic data and evaluated, in terms of AUROC and AUPRC, against the real-data baseline through a patient-level bootstrap protocol and a non-inferiority testing approach. The real-data baseline achieved an AUROC of 0.734 and an AUPRC of 0.738. All four architectures exhibited a slight performance drop compared to the baseline; Gaussian Copula, TVAE, and Copula-GAN achieved high and comparable AUROC values (between 0.719 and 0.723), while CTGAN recorded the lowest (0.698). In terms of AUPRC, TVAE emerged as the top-performing architecture (0.725), closely followed by CTGAN (0.718), whereas Gaussian Copula and Copula-GAN showed a more marked reduction (0.678, 0.673). Overall, TVAE demonstrated the most consistent quality across both metrics. These findings provide preliminary evidence, in these datasets and classification task, for the potential role of synthetic data generation in mitigating data scarcity in radiomics-based NSCLC classification, and introduce a bootstrap-based non-inferiority evaluation protocol that is, in principle, applicable to other comparisons between real and synthetic data.
ING - Scuola di Ingegneria Industriale e dell'Informazione
21-ott-2026
2025/2026
La classificazione radiomica dei sottotipi istologici del carcinoma polmonare non a piccole cellule (NSCLC) è spesso limitata dalla disponibilità di dataset di piccole dimensioni e provenienti da un singolo centro, che ostacolano l'addestramento di classificatori di machine learning robusti. Questo studio confronta quattro architetture di generatori di dati sintetici (Gaussian Copula, TVAE, CTGAN e Copula-GAN) nella loro capacità di produrre dati radiomici tabulari adatti all'addestramento di classificatori in grado di distinguere l'adenocarcinoma (ADN) dal carcinoma a cellule squamose (SCC), adottando come riferimento comune per il confronto le prestazioni di classificazione rispetto a una baseline addestrata su dati reali. Due collezioni pubbliche di immagini TC (NSCLC Radiomics e NSCLC Radiogenomics) sono state unite per compensare i rispettivi sbilanciamenti di classe, ottenendo una coorte di 344 pazienti. Dopo l'estrazione delle feature radiomiche, il filtraggio per riproducibilità tramite il coefficiente di correlazione intraclasse (ICC) e la selezione tramite minimum Redundancy Maximum Relevance (mRMR), è stato mantenuto un insieme di 10 feature. Le quattro architetture di sintetizzatori sono state addestrate sui dati di training e utilizzate per generare 100 dataset sintetici ciascuna; i relativi iperparametri sono stati ottimizzati tramite l'Overall Score, un indice di qualità indipendente dal modello che misura la somiglianza statistica tra dati reali e sintetici, così da preservare l'indipendenza dal task di classificazione a valle. Seguendo il paradigma train-on-synthetic, test-on-real (TSTR), per ciascuna architettura sono stati addestrati su dati sintetici 100 classificatori XGBoost, valutati in termini di AUROC e AUPRC rispetto alla baseline su dati reali, mediante un protocollo di bootstrap a livello di paziente e un approccio basato su test di non inferiorità. La baseline su dati reali ha ottenuto un AUROC di 0,734 e un AUPRC di 0,738. Tutte e quattro le architetture hanno mostrato un lieve calo prestazionale rispetto alla baseline; Gaussian Copula, TVAE e Copula-GAN hanno raggiunto valori di AUROC elevati e tra loro comparabili (tra 0,719 e 0,723), mentre CTGAN ha registrato il valore più basso (0,698). In termini di AUPRC, TVAE è risultata l'architettura migliore (0,725), seguita da vicino da CTGAN (0,718), mentre Gaussian Copula e Copula-GAN hanno mostrato una riduzione più marcata (0,678 e 0,673). Nel complesso, TVAE ha dimostrato la qualità più costante su entrambe le metriche. Questi risultati forniscono un'evidenza preliminare, limitatamente ai dataset e al task di classificazione considerati, del potenziale ruolo della generazione di dati sintetici nel mitigare la scarsità di dati nella classificazione radiomica dell'NSCLC, e introducono un protocollo di valutazione della non inferiorità basato su bootstrap, in linea di principio applicabile ad altri confronti tra dati reali e sintetici.
File allegati
File Dimensione Formato  
2026_10_Pagliaro.pdf

accessibile in internet per tutti

Descrizione: testo della tesi
Dimensione 1.98 MB
Formato Adobe PDF
1.98 MB Adobe PDF Visualizza/Apri
2026_10_Pagliaro_ExecutiveSummary.pdf

accessibile in internet per tutti

Descrizione: executive summary della tesi
Dimensione 982.36 kB
Formato Adobe PDF
982.36 kB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/267004