PaRaChute: a pathology-radiology cross-modal fusion framework for missing-modality-robust survival analysis

Accurate survival prediction is a critical yet challenging task in computational oncology, with the potential to support clinical decision-making by identifying high-risk patients and tailoring treatment strategies. However, existing Deep Learning approaches face three major limitations: they often assume full modality availability, fail to capture local-to- global cross-modal correspondences, and rely on optimization procedures that are agnostic to modality-specific signal quality and completeness. This thesis introduces PaRaChute (Pathology-Radiology Cross-modal Chute), a novel Deep Learning framework for robust multimodal survival prediction from heterogeneous and partially missing medical imaging data. It is designed to address the intrinsic differ- ences in resolution, semantics, and availability between histopathological and radiological data. PaRaChute employs pretrained modality-specific encoders and adapter networks that project features into a shared latent space. A multi-head cross-attention module is used to fuse the modalities, guided by a Dynamic Positional Embedding mechanism that captures meaningful local-to-global interactions across modalities while adaptively handling missing modality scenarios. To further improve optimization under missing data conditions, the framework integrates a Gradient Curvature Steering module that aligns gradient directions based on local curvature. Evaluation on two CPTAC-derived cancer survival cohorts result in PaRaChute achiev- ing a C-index of up to 0.8301 in the full-modality setting, significantly surpassing both unimodal and multimodal state-of-the art models. It obtains a mean per- formance of 0.6687 ± 0.0955 under controlled missing modality experiments and 0.5303 ± 0.0312 on real world incomplete modality scenario, confirming its robust- ness to incomplete inputs. Stratified Kaplan–Meier analysis further confirms the model’s ability to capture statistically significant survival differences across predicted risk groups. Extensive ablation experiments reveal that each architectural component con- tribute meaningfully to model robustness and prognostic performance.

La previsione accurata della sopravvivenza oncologica rappresenta un ambito cruciale ma complesso nell’oncologia computazionale, con il potenziale di supportare il processo deci- sionale clinico identificando pazienti ad alto rischio di progressione della malattia o morte, e personalizzando le strategie terapeutiche. La recente disponibilità di dataset biomedici multimodali su larga scala, ha reso possibile lo sviluppo di modelli di Deep Learning in grado di integrare immagini radiologiche e istopatologiche. Tuttavia, gli approcci esistenti presentano tre principali limitazioni: suppongono la disponibilità completa delle modal- ità, non riescono a catturare le corrispondenze locali e globali tra modalità, e si basano su procedure di ottimizzazione che ignorano la qualità e la completezza del segnale specifico di ciascuna modalità in ingresso al modello. Questa tesi propone PaRaChute (Pathology-Radiology Cross-modal Chute), un nuovo framework di Deep Learning per la previsione robusta e accurata della sopravvivenza oncologica a partire da dati di imaging medico eterogenei e parzialmente mancanti. L’architettura è progettata per affrontare le differenze intrinseche in termini di risoluzione, semantica e disponibilità tra i dati istopatologici e radiologici. Alla base, PaRaChute impiega modelli di estrazione delle feature specifici per modalità, preaddestrati, seguiti da reti adattatrici che proiettano le caratteristiche in uno spazio latente condiviso. Un modulo di cross-attention multi-head viene utilizzato per fondere le modalità, guidato da un nuovo meccanismo di Dynamic Positional Embedding, che cattura interazioni locali biologicamente significative tra le due modalità di immagini in inresso al modello e le trasferisce nella rappresentazione globale multimodale utilizzata per la predizione del ris- chio. Per migliorare ulteriormente l’ottimizzazione in caso di dati mancanti, questa tesi propone inoltre un modulo Gradient Curvature Steering che allinea le direzioni di discesa del gradiente sulla base della curvatura locale della funzione di perdita. Il metodo proposto è stato valutato su due coorti di sopravvivenza oncologica derivate da CPTAC, dove PaRaChute raggiunge un C-index fino a 0.8301 nel caso di disponibil- ità completa delle modalità, superando significativamente sia modelli unimodali che multimodali esistenti nello stato dell’arte. Il metodo proposto ottiene una performance media pari a 0.6687 ± 0.0955 in esperimenti dove la mancanza di v v una modalità è controllata e 0.5303 ± 0.0312 su scenari di modalità mancante realistici, confermando la sua robustezza rispetto a input incompleti. L’analisi di Ka- plan–Meier stratificata conferma ulteriormente come il modello catturi differenze di sopravvivenza statisticamente significative tra i gruppi di rischio previsti. Studi di ablazione delle diverse componenti che costituiscono PaRaChute mostrano che ciascun componente architetturale contribuisce in modo rilevante alla robustezza e alla capacità prognostica del modello. In sintesi, questa tesi propone un framework modulare, interpretabile e ad alto potere predittivo per l’analisi di sopravvivenza multimodale, in grado di operare efficacemente anche con modalità mancanti, e di avanzare lo stato dell’arte nella previsione della so- pravvivenza da immagini mediche.