SHAP-driven explainability in machine learning models applied to urothelial cancer real world data

Bladder cancer (BC) ranks as the ninth most prevalent cancer globally, with urothelial carcinoma (UC) being its most common subtype. Despite advancements in treatment, the prognosis for metastatic UC (mUC) remains poor. Immunotherapy (IO), particularly immune checkpoint inhibitors (ICIs), has emerged as a promising option, yet predicting patient responses to these therapies remains a challenge. Machine Learning (ML) models offer valuable support, especially if complemented by eXplainable Artificial Intelligence (XAI) techniques, which enable a deeper understanding of the inner workings of ML models. This study aims to identify predictive biomarkers for IO efficacy in mUC patients using data from the multicenter SamUR-AI study, which includes 438 patients treated with IO. ML techniques were employed to investigate both short-term (Objective Response Rate, ORR) and long-term (Overall Survival, OS; Progression Free Survival, PFS) outcomes, training, respectively, eight classifiers and six survival models. Significant emphasis was placed on the explainability analysis performed using SHAP (Shapley Additive exPlanations) values. For the classification task (ORR), the Support Vector Machines (SVM) model achieved the best performance with an F1-score of 0.61, showing limited overall results. In the survival analysis, the Extreme Survival Trees (EST) model demonstrated superior performance for OS, with a C-index = 0.67. For PFS, the Survival SVM (SSVM) model trained on selected features achieved a C-index = 0.64. ML models showed comparable performance to the Cox Proportional Hazards model. Explainability analyses using SHAP values revealed clinically meaningful insights, with lower ECOG PS scores, combination treatments, and absence of liver and lung metastases associated with better outcomes. Modified visualizations, such as enhanced decision and heatmap plots, further improved interpretability by incorporating feature value and prediction correctness information, respectively. Additionally, a novel explainability pipeline, applied to OS predictions, showed promise by improving model performance through selective exclusion of less predictable instances. While it remains necessary to improve the performance of the tested ML models, the insights from this study highlight the potential of AI-driven tools based on real-world data (RWD) in advancing personalized treatment strategies for mUC patients, paving the way for more reliable and interpretable predictive models in oncology.

Il carcinoma della vescica (BC) si colloca come il nono tumore più diffuso a livello globale, con il carcinoma uroteliale (UC) come suo sottotipo più comune. Nonostante i progressi nei trattamenti, la prognosi per l’UC metastatico (mUC) rimane sfavorevole. L’immunoterapia (IO), in particolare gli inibitori dei checkpoint immunitari (ICIs), è emersa come un’opzione promettente, ma prevedere la risposta dei pazienti a queste terapie rappresenta ancora una sfida. I modelli di Machine Learning (ML) offrono un supporto prezioso, specialmente se integrati con tecniche di eXplainable Artificial Intelligence (XAI), che consentono una comprensione più approfondita del funzionamento interno dei modelli di ML. Questo studio mira a identificare biomarcatori predittivi dell’efficacia dell’IO nei pazienti con mUC utilizzando dati dello studio multicentrico SamUR-AI, che include 438 pazienti trattati con IO. Sono state impiegate tecniche di ML per analizzare sia risultati a breve termine (Objective Response Rate, ORR) sia a lungo termine (Overall Survival, OS; Progression-Free Survival, PFS), addestrando rispettivamente otto classificatori e sei modelli di sopravvivenza. È stata posta particolare enfasi sull’analisi di explainability effettuata utilizzando SHAP (SHapley Additive exPlanations). Per quanto riguarda la classificazione (ORR), il modello Support Vector Machines (SVM) ha ottenuto le migliori prestazioni con un F1-score di 0,61, mostrando risultati complessivamente limitati. Nell’analisi di sopravvivenza, il modello Extreme Survival Trees (EST) ha dimostrato prestazioni superiori per OS, con C-index = 0,67. Per PFS, il modello Survival SVM (SSVM) addestrato su caratteristiche selezionate ha raggiunto un C-index = 0,64. I modelli di ML hanno mostrato prestazioni comparabili al modello Cox Proportional Hazards. Le analisi di explainability condotte con SHAP hanno rivelato spiegazioni concordi con le attuali conoscenze cliniche: punteggi ECOG PS più bassi, trattamenti combinati e assenza di metastasi epatiche e polmonari sono stati associati a migliori risultati. Le modifiche ai grafici decision plot e heatmap plot hanno ulteriormente aumentato l’interpretabilità, incorporando informazioni rispettivamente sui valori delle caratteristiche e sulla correttezza delle predizioni. Inoltre, una nuova procedura di explainability applicata alle predizioni di OS ha mostrato risultati promettenti, migliorando le prestazioni del modello attraverso l’esclusione selettiva delle istanze meno prevedibili. Sebbene sia necessario migliorare le prestazioni dei modelli di ML testati, i risultati di questo studio evidenziano il potenziale degli strumenti basati sull’AI nel promuovere strategie di trattamento personalizzate per i pazienti con mUC, aprendo la strada a modelli predittivi più affidabili e interpretabili in oncologia.