Machine learning for multimodal analysis of histopathological images and mass spectrometry data for improved diagnosis of mixed liver cancer

Patients affected by the combined liver tumour named hepatocellular-cholangiocarcinomas (cHCC-CCA) deal with a complex path to reach an accurate diagnosis of this rare disease because the high heterogeneity of possible combinations of the two components makes their distinction quite difficult through simple histopathological images. The accurate diagnosis is fundamental to decide the future treatment, which significantly differ in case of a majority of hepatocellular carcinomas (HCC) or of cholangiocarcinomas (CCA). The introduction of the analysis of mass spectrometry images can represent a turning point in this field and few studies in literature showed that artificial intelligence applied to mass spectra for tumor classification could represent a valid diagnosis support for pathologists. The project aims mainly at developing an automatic algorithm for classification of mass spectra, obtained through Matrix-Assisted Laser Desorption Ionization (MALDI) imaging technique, referring to tissue samples of combined liver tumour, in order to segment the area of the sample in the two tumour components. The obtained results are promising: an average accuracy of 90% has been reached in the recognition of HCC and CCA spectra and a visual comparison has been carried out between the predictions and annotations by an expert pathologist, leading to high levels of superimposition of the segmentation. Subsequently, the second project aim is identifying some biomarkers analysing the molecular components of the mass range considered in the available MALDI mass spectra, investigating the ones with the most significative contribution in the classification. The results showed two biomarkers for the combined tumour and one for HCC pure tumour, while for CCA no one has been elected. Finally, the last part of the project consists in the application of some unsupervised segmentation algorithms, again with the aim of cHCC-CCA histopathological images segmentation, followed by a new supervised classification process applied on histopathological images but considered as "multimodal" since it employs both classification results obtained on MALDI data and histopathological images themselves. As mentioned, in fact, the final aim is obtaining an accurate segmentation algorithm directly applicable on histopathological images. The resuts are not as promising as the ones on MALDI data since the average accuracy is around 75%; however it is considered a good starting point for future research in the field.

Il colangiocarcinoma epatocellulare combinato (cHCC-CCA) fa parte della famiglia dei tumori primitivi del fegato e consiste nella formazione di due tumori di origini differenti, l’epatocarcinoma (HCC) e il colangiocarcinoma (CCA) all’intero dello stesso sito tumorale. Il tumore combinato è considerato molto raro, data la sua incidenza compresa tra il 0.4% e il 14.2% dei pazienti. Il ridotto numero di persone affette dalla malattia comporta la disponibilità di una quantità esigua di dati e di conseguenza minori ricerche a riguardo. La principale difficoltà, nel caso del cHCC-CCA, risiede nel fatto che risulta difficile riuscire a distinguere in modo accurato le zone di HCC e le zone di CCA a occhio nudo dalle immagini istopatologiche. L’identificazione delle singole aree è fondamentale per la scelta della cura, in quanto essa differisce molto in caso di HCC o CCA. L’obiettivo di questo progetto, infatti, è quello di sviluppare uno strumento che sia in grado di distinguere automaticamente le diverse aree della zona interessata, in modo da rappresentare un valido supporto alla diagnosi. Per raggiungere questo scopo, vengono utilizzati sia dati ottenuti tramite spettroscopie di massa sia immagini istopatologiche. Gli spettri di massa sono stati ottenuti tramite la tecnica MALDI (Matrix-Assisted Laser Desorption Ionization) e vengono utilizzati per il training di algoritmi di classificazione nell’ambito del Machine Learning. I risultati ottenuti sembrano particolarmente promettenti per il futuro, con una accuratezza media intorno al 95%, e confermano l’efficacia dell’utilizzo degli spettri ottenuti tramite la tecnica MALDI. Successivamente, il secondo obiettivo è quello di riconoscere dei biomarker identificativi dei tumori in questione, sia puri che combinati, tra il range di molecole analizzato nelle spettroscopie. In questo caso, tramite tecniche di riduzione del dataset, è stato possibile individuare 3 peptidi che appartengono a un biomarker del tumore combinato e una molecola considerata biomarker dell’epatocarcinoma. Infine, si vuole sviluppare un secondo algoritmo, in questo caso in grado di agire direttamente sulle immagini istopatologiche, che sia in grado di segmentarle riconoscendo le aree e le percentuali di HCC e CCA. Quest’ultimo processo viene definito "multi-modale" in quanto si sfruttano i risultati ottenuti dagli spettri di massa utilizzandoli come labels per le immagini istopatologiche. In questo caso i risultati non sono ottimali ma rappresentano un buon punto di partenza per studi futuri nell’ambito; è stata infatti raggiunta una accuratezza media del 75% che permette una segmentazione in generale corretta ma con un basso livello di precisione a livello di pixel dell’immagine