Development of a denoising and segmentation pipeline for multimodal nonlinear images of tumor biopsies

Label-free nonlinear optical microscopy techniques allow biological tissues to be investigated by exploiting intrinsic molecular contrasts, without exogenous markers. Among these, stimulated Raman scattering provides a chemically specific signal, while two-photon excited fluorescence and second-harmonic generation add complementary contrasts on the cellular component and on collagen structures. The present work focuses on the computational analysis of data acquired with a multimodal nonlinear microscope, and presents two contributions: a denoising method for hyperspectral SRS images and a semantic segmentation pipeline for head-and-neck tissue. The main limitation of SRS microscopy is the trade-off between image quality and acquisition time. A U-Net with residual learning was developed, in which spatial and spectral convolutions are separated into dedicated branches in order to model distinctly the morphology and the correlations between Raman bands. Trained on a public dataset, it was subsequently fine-tuned through transfer learning on real tissue acquisitions, confirming its generalisation capability and enabling the reconstruction of an entire hyperspectral mosaic. The second contribution formulates the automatic interpretation of multimodal images as a pixel-wise classification into three categories of surgical relevance: tissue to be resected, tissue to be preserved, and background. The SRS, TPEF and SHG contrasts were combined into a composite image and processed with a U-Net equipped with a ResNet-34 encoder pre-trained on ImageNet. The work demonstrates a complete analysis chain for multimodal nonlinear microscopy, from raw signal acquisition, through its restoration, to the automatic interpretation of pathological structures, providing a label-free tool potentially useful for the assessment of resection margins in head-and-neck tumors.

Le tecniche di microscopia ottica non lineare label-free permettono di indagare tessuti biologici sfruttando contrasti molecolari intrinseci, senza marcatori esogeni. Tra queste, il raman scattering stimolato fornisce un segnale chimicamente specifico, mentre la fluorescenza a due fotoni e la generazione di seconda armonica aggiungono contrasti complementari sulla componente cellulare e sulle strutture di collagene. Il presente lavoro affronta la catena di analisi dei dati di un microscopio multimodale non lineare attraverso due contributi: un metodo di denoising per immagini iperspettrali SRS e una pipeline di segmentazione semantica di tessuti di Head and Neck. La principale limitazione della microscopia SRS è il compromesso tra qualità dell'immagine e tempo di acquisizione. È stata sviluppata una rete U-Net con apprendimento residuo, in cui convoluzioni spaziali e spettrali sono separate in rami dedicati per modellare distintamente la morfologia e le correlazioni tra bande Raman. Addestrata su dataset pubblico tramite transfer learning è stata poi affinata su acquisizioni reali di tessuto, confermando la capacità di generalizzazione e permettendo la ricostruzione di un intero mosaico iperspettrale. Il secondo contributo affronta l'interpretazione automatica delle immagini multimodali tramite classificazione pixel per pixel in tre categorie di rilevanza chirurgica: tessuto da asportare, da preservare e background. I contrasti SRS, TPEF e SHG sono stati combinati in un'immagine composita ed elaborati con una U-Net dotata di encoder ResNet-34 pre-addestrato su Imagenet. Il lavoro dimostra una catena di analisi completa per la microscopia multimodale non lineare, dall'acquisizione del segnale grezzo alla sua restaurazione fino all'interpretazione automatica delle strutture patologiche, fornendo uno strumento label-free potenzialmente utile alla valutazione dei margini di resezione nei tumori di testa e collo.