SE3D : a framework for saliency method evaluation in 3D medical imaging

Deep learning models are seeing widespread use in the medical field, with Convolutional Neural Networks (CNNs) being employed in scenarios such as histopathology and X-ray imaging. More recently, 3D CNNs have also been utilized to analyze volumetric data from various medical imaging modalities such as MRI and CT scans. Despite advances in Explainable Artificial Intelligence, little effort has been put into constructing saliency maps for 3D CNNs. Consequently, the use of such models in critical scenarios is hindered by their black-box, non-interpretable nature. Furthermore, the lack of a standardized evaluation metrics for 3D saliency methods makes quantitative comparison of the performances of different methods difficult. To address this issue, we propose SE3D: a framework for saliency method evaluation in 3D medical imaging, based on a new benchmark built upon the BraTS 2020 brain tumor segmentation dataset. We also extend popular 2D saliency methods to 3D data, achieving performances that match those of saliency methods designed for 3D CNNs. Although 2D saliency methods have been widely used as means of model explanation, our results suggest that there is margin for future improvements, to enable safer applications of 3D CNNs in the medical field.

I modelli di deep learning sono largamente utilizzate in campo medico, con le reti neurali convoluzionali (CNN) utilizzate in scenari come l'istopatologia e l'imaging a raggi X. Più recentemente, le CNN 3D sono state impiegate anche per analizzare i dati volumetrici provenienti da varie modalità di imaging medico come la risonanza magnetica e le scansioni TC. Nonostante i progressi nell'intelligenza artificiale spiegabile, sono stati fatti pochi sforzi per costruire mappe di salienza per le CNN 3D. Di conseguenza, l'uso di tali modelli in scenari critici è ostacolato dalla loro natura black-box e non interpretabile. Inoltre, la mancanza di una metrica di valutazione standardizzata per i metodi di salienza 3D rende difficile il confronto quantitativo delle prestazioni di diversi metodi. Per affrontare questo problema, proponiamo SE3D: un framework per la valutazione del metodo di salienza nell'imaging medico 3D, basato su un nuovo benchmark che fa affidamento sul set di dati di segmentazione del tumore cerebrale BraTS 2020. Proponiamo anche estensioni dei popolari metodi di salienza 2D ai dati 3D, ottenendo prestazioni che corrispondono a quelle dei metodi di salienza progettati per le CNN 3D. Sebbene i metodi di salienza 2D siano stati ampiamente utilizzati come mezzo di spiegazione per modelli di deep learning, i nostri risultati suggeriscono che esiste margine per miglioramenti futuri, per consentire applicazioni più sicure delle CNN 3D in campo medico.