Benchmarking machine learning models to predict efficacy of immunotherapy in renal and urothelial carcinoma

Renal cell carcinoma (RCC) and urothelial carcinoma (UC) are among the main causes of death worldwide. For many years, traditional approaches like chemotherapy (CHT) or Tyrosine-Kinase Inhibitors (TKIs) were applied, but they showed several contraindications. In this situation, the recent rise of Immunotherapy (IO) has brought a significant revolution in the landscape of cancer treatment. Since the currently available biomarkers of IO demonstrated limited predictive value, it’s urgent to develop new approaches able to improve the predictive capability. An important help can be found in Artificial Intelligence (AI) and Machine Learning (ML) techniques, able to process larger amount of data and find hidden connections among them. The aim of this study is to apply ML techniques to predict the efficacy of IO in patients with metastatic RCC (mRCC) and UC (mUC). This was done by using two datasets coming from two multicentric trials, MeetURO15 and MALVA. The analyses were split in two different tasks: classification and survival analysis. The chosen outcomes respectively were Disease Control Rate (DCR) and Objective Response Rate (ORR) in classification, Overall Survival (OS) and Progression Free Survival (PFS) in survival analysis. Eight classifiers and five survival models were trained after having performed an extensive data curation and preprocessing. In addition, several feature selection methods were tested to reduce the number of features feeding the models. The final step for both the pipelines is the explainability analysis, mainly through SHapley Additive Explanations (SHAP) values. The results achieved for MeetURO15 were not completely satisfactory in classification, with an F1 of 0.69 on the test set for DCR. Survival analysis results produced a C-index (c) of 0.63 for PFS and 0.69 for OS. Regarding MALVA, the performances were better, with F1=0.81 for ORR, c=0.80 for OS and c=0.74 for PFS. In the context of explainability analysis, Karnofsky Performance Scale (KPS) emerged as the most important predictors for the survival outcomes in MeetURO15. Inflammatory indexes (NLR, PLR, SII) showed a great impact too, also in the classification task. SHAP values on MALVA revealed the importance of bone metastases in the prediction of survival outcomes and of neutrophils count in classification, that can suggest a possible link with NLR. In addition, it was demonstrated that the application of ML in survival analysis can achieve comparable performances with respect to traditional methods like Cox Proportional Hazards. By integrating future researches and investigations, the initial findings emerged from this study could help to the development of innovative AI-based tools potentially able to improve the prediction of responses to IO.

Il carcinoma a cellule renali (RCC) e il carcinoma uroteliale (UC) sono tra le principali cause di morte nel mondo. Per molti anni, approcci tradizionali come la chemioterapia (CHT) o gli inibitori della tirosin-chinasi (TKI) sono stati applicati, ma hanno mostrato diverse controindicazioni. In questa situazione, la recente ascesa dell'immunoterapia (IO) ha portato a una rivoluzione significativa nel panorama del trattamento del cancro. Poiché i biomarcatori attualmente disponibili per l'IO hanno dimostrato un valore predittivo limitato, è urgente sviluppare nuovi approcci in grado di migliorare la capacità predittiva. Una risorsa importante può essere trovata nell'intelligenza artificiale (IA) e nelle tecniche di Machine Learning (ML) in grado di elaborare una maggiore quantità di dati e di rilevarne le interconnessioni. Lo scopo di questo studio è applicare tecniche di ML per predire l'efficacia dell'IO nei pazienti con carcinoma renale metastatico (mRCC) e carcinoma uroteliale metastatico (mUC). Ciò è stato fatto utilizzando due dataset provenienti da due studi multicentrici, MeetURO15 e MALVA. Le tipologie di analisi effettuate sono state, rispettivamente: classificazione e analisi di sopravvivenza. Come target sono stati scelti, rispettivamente, il Disease Control Rate (DCR) e l'Objective Response Rate (ORR) nella classificazione, Overall Survival (OS) e Progression Free Survival (PFS) nell'analisi di sopravvivenza. Otto classificatori e cinque modelli di analisi sopravvivenza sono stati addestrati dopo un'ampia pre-elaborazione dei dati. Inoltre, sono stati testati diversi metodi di feature selection per ridurre il numero di attributi forniti ai modelli. Il passo finale per entrambe le metodologie è stato l'utilizzo dei valori SHAP per analizzare l'influenza dei singoli attributi sulla predizione. I risultati ottenuti per MeetURO15 non sono stati completamente soddisfacenti nella classificazione, con un F1 di 0.69 sul test set per DCR. I risultati dell'analisi della sopravvivenza hanno prodotto un C-index (c) di 0.63 per PFS e 0.69 per OS. Riguardo a MALVA, le prestazioni sono state migliori, con F1=0.81 per ORR, c=0,80 per OS e c=0,74 per PFS. Analizzando i valori SHAP, KPS (Karnofsky Performance Scale) è emersa come il predittore più importante per i target di sopravvivenza per quanto riguarda MeetURO15. Gli indici infiammatori (NLR, PLR, SII) hanno mostrato un grande impatto anche nella classificazione. I valori SHAP su MALVA hanno rivelato l'importanza delle metastasi ossee nella previsione dei target di sopravvivenza e del conteggio dei neutrofili nella classificazione, che può suggerire un possibile collegamento con l'NLR. Inoltre, è stato dimostrato che l'applicazione di tecniche di ML nell'analisi di sopravvivenza può ottenere prestazioni comparabili rispetto ai metodi tradizionali come il modello Cox. Integrando future ricerche e indagini, gli iniziali spunti emersi da questo studio potrebbero contribuire allo sviluppo di strumenti innovativi basati su IA in grado potenzialmente di migliorare la previsione delle risposte all'IO.