A transformer-based approach for biomedical image decomposition

Fluorescence microscopy is a fundamental technique in biomedical research, as it allows the observation of complex cellular structures through the use of fluorophores, substances that emit light when illuminated. Despite its importance, this technique presents some challenges: a single fluorophore is often used to label multiple structures, and the presence of noise in the images can make it difficult to distinguish and separate these labeled structures during analysis clearly. This thesis proposes the use of Autoencoder architectures combined with transformers, a new generation of artificial intelligence models, to improve the analysis of images obtained through fluorescence microscopy. Specifically, the Swin2SR model was studied, which, thanks to its innovative structure (a combination of VAE and transformers), is capable of performing image decomposition to separate labeled structures and denoising while preserving even the smallest details of biological features. The model was compared with other state-of-the-art methods, such as μSplit and denoiSplit, using objective image quality metrics, including PSNR and SSIM. Tests were conducted on reference datasets (BioSR and Hagen et al.), simulating realistic noise and complexity conditions. The results showed that Swin2SR is more effective than μSplit in preserving details and resisting noise, while offering comparable performance to denoiSplit, particularly in reconstructing the finest parts of the image. Furthermore, Swin2SR proved to be computationally efficient, making it suitable for scenarios requiring particularly complex and computationally intensive processing, as is often the case in biomedical imaging. This thesis thus highlights the potential of transformers in helping researchers obtain clearer and more reliable images, facilitating the analysis of biological structures observed in the fluorescence microscopy specimens.

La microscopia a fluorescenza è una tecnica fondamentale nella ricerca biomedica, poiché permette di osservare strutture cellulari complesse grazie all’uso di fluorofori, sostanze che emettono luce quando illuminate. Nonostante la sua importanza, questa tecnica presenta alcune difficoltà: un singolo fluoroforo viene spesso utilizzato per marcare diverse strutture, e la presenza di rumore nelle immagini può rendere difficile distinguere e separare chiaramente queste strutture marcate durante l’analisi. Questa tesi propone l’utilizzo di architetture tipo Autoencoder combinate con i transformer, una nuova generazione di modelli di intelligenza artificiale, per migliorare l’analisi delle immagini ottenute con la microscopia a fluorescenza. In particolare, è stato studiato il modello Swin2SR, che, grazie a una struttura innovativa (combinazione tra VAE e transformer), è in grado di eseguire la scomposizione delle immagini per separare le strutture marcate e il denoising, preservando anche i dettagli più fini delle strutture biologiche. Il modello è stato confrontato con altri metodi all’avanguardia, come μSplit e denoiSplit, utilizzando misure oggettive di qualità dell’immagine, tra cui PSNR e SSIM. I test sono stati condotti su dataset di riferimento (BioSR e Hagen et al.), simulando condizioni realistiche di rumore e complessità. I risultati hanno dimostrato che Swin2SR è più efficace di μSplit nella conservazione dei dettagli e nella resistenza al rumore, mentre offre prestazioni comparabili a denoiSplit, soprattutto nella ricostruzione delle parti più fini dell’immagine. Inoltre, Swin2SR si è rivelato efficiente dal punto di vista computazionale, risultando adatto a scenari che richiedono elaborazioni particolarmente complesse e computazionalmente intensive, come spesso accade nell’ambito dell’imaging biomedico. Questa tesi evidenzia quindi il potenziale dei transformer nel migliorare la qualità e l’affidabilità delle immagini, facilitando l’analisi delle strutture biologiche osservate nei campioni della microscopia a fluorescenza.