Image processing in multi-view light sheet microscopy

This work is the result of a six months research in image processing that I've done at CREATIS (Centre de Recherche en Acquisition et Traitement de l' Image pour la Santé) laboratory in Lyon. The research was founded by Zeiss, a German company, that operates in the optic and electronic field. The research has been done also in collaboration microscopy platform Ciqle (Lyon) and the Insitut Lumière Matière. The central theme of this work is related to an image processing problem that is encountered in imaging sample with the light sheet microscopy technique. We operated on the Zeiss commercial version of this technology: the Lightsheet Z.1. In particular, Zeiss asked us to analyse the registration algorithm used in a multi-view experiment. The possibility to perform such a particular acquisition is unique for this kind of microscopy. Different images of the same sample are acquired from different angles. Once the sample is imaged, all the 3D images (z-stacks) have to be recombined to generate a final high quality result. Zeiss commercial version allow computing this step thanks to the implementation of three algorithms. We will see that each of them are still present some problems that requires some modifications. However, before entering in the detail of the image processing problem, we will present a global insight of the environment in which we will operate. In chapter 1, all the modern techniques of fluorescence microscopy are recalled. Starting from the basic physical principle of the fluorescence, we will see in which way each modern technique exploit this principle. Which kind of illumination and detection schemes have been developed mostly to answer at biomedical research problems. For each of them the advantages and disadvantages will be presented. Also the light sheet microscopy shows its advantages respect to the other techniques, so we will explain them. However, this last technique is the one we will adoperate, so in chapter 2 it will be explained more in detail. The physical working principles behind its illumination scheme, its detection system will be exlplained, with particular attention to the Zeiss implementation. We will also focus on the sample mounting and sample preparation technique that are applied for the Lightsheet Z.1. We will enter in the detail of one application of this technology. Zeiss asked us to work on the registration problem in imaging a 3D cluster of cell called spheroid. We will explain the biomedical reasons that make this sample so attractive. Once all the path we will follow to compute an acquisition of the spheroid is clearly explained we will start the analysis of the multi-view experiment. First of all, the already implemented algorithms will be presented. In chapter 3 we will start with the analysis of the already achievable results for the spheroid. From this chapter, a detailed analysis of 3D images will be computed. For this purpose, we mostly use Fiji, an open software for imaging visualization and analysis, and ZEN (Black edition 2014), that is the software associated to the Zeiss technology. For each registration technique implemented in the Zeiss software we will find out some critical points by analysing the results. Sterting from these results that we will propose two new and different ideas to improve the Zeiss software. For each of them we will present the theoretical basis and then we will present the result we will obtain by applying them in computing a multi-view experiment with our sample. Before comparing our results to the previous ones we will validate them. Then, a comparison of all the results will be done. All the results are re-called in the chapter 4 to show the improvements we are able to obtain. However, we will also presents some points of our new ideas that continue to be open for further modifications. The analysis of these points could bring to a still better technique to solve the registration problem. Also the fusion algorithm can be analysed in detail in order to improve the quality of the results. In the Appendix A there is a detailed description of the plug-in we propose to use to compute a local descriptors-based registration. This algorithm has been developed at CREATIS lab for a confocal experiment on Drosophila. So, once we have verified that it is possible to obtain good results also with LSFM setup, we tried to image also the Drosophila with this technique. The results of this test are shown in Appendix B. In the end, in the Appendix C, a third valid new idea is presented. It is not included in the detailed dissertation because, for the moment, it remains at a starting research level.

Questo lavoro é il risultato dei sei mesi di ricerca che ho svolto nel laboratorio di analisi e trattamento di immagini CREATIS (Centre de Recherche en Acquisition et Traitement de l'Image pour la Santé) a Lione. La ricerca é stata finanziata dalla Zeiss, azienda attiva a livello mondiale nel settore ottico ed elettronico, ed è stata condotta in collaborazione con la piattaforma di microscopia Ciqle (Lione) e l'Istituto Lumière Matière. Il tema centrale di questo lavoro riguarda uno specifico problema legato al trattamento delle immagini acquisite con la tecnica di microscopia a fluorescenza con foglio di luce. Il sistema che abbiamo utilizzato é per l’appunto quello della Zeiss : il Lightsheet Z.1. In particolare, l’azienda ci ha chiesto di provare ad analizzare l’ algoritmo di registrazione delle immagini 3D usate per un esperimento multi-view. Questo tipo di acquisizione é un tratto distintivo e unico della tecnica di microscopia a foglio di luce. Diverse immagini 3D dello stesso campione vengono fatte da angoli diversi. Dopodiché esse devono essere ricombinate per generare un unica immagine finale. Per fare ciò vengono applicati algoritmi di registrazione e di fusione. Zeiss ha implementato tre algoritmi per la registrazione ma, come vedremo, ognuno di essi presenta dei problemi. Comunque, non entreremo subito nel dettaglio del problema del trattamento delle immagini, ma dipingeremo prima un quadro generale dell’ ambiente in cui andremo a lavorare. Nel capitolo 1, verrà presentato un panorama attuale della microscopia a fluorescenza. Partendo dal principio fisico che è alla base di questa tecnologia, si arriverà alla presentazione delle più moderne tecniche che lo implementano e che si sono sviluppate per rispondere alle esigenze sempre più specifiche del mondo della ricerca, in particolare di quella biomedicale. Per ognuna di queste tecniche verranno richiamati i principi fondamentali che le distinguono dalle altre e i vantaggi o svantaggi che ne derivano. La tecnica della microscopia a foglio di luce si inserisce bene in questo panorama e, come per le altre, ne verrano spiegate le caratteristiche fondamentali e i vantaggi da essa introdotti. Essendo comunque questa tecnologia alla base del mio lavoro di tesi, nel capitolo 2 essa verrà ripresa ed analizzata più nel dettaglio. I principi fisici dello schema di illuminazione, l’apparato di acquisizione e il montaggio del campione verranno descritti in modo più preciso, facendo anche riferimento alla tecnologia Zeiss. Sempre in questo capitolo presenteremo il campione che l’ azienda ci ha chiesto di analizzare : gli sferoidi tumorali. Gli sferoidi sono un esempio di agglomerato cellulare 3D che ben si presta ad un'analisi compiuta con questa tecnica. Verrano sottolineate le ragioni biomediche che rendono importante lo studio di queste cellule. Sfrutteremo questo esempio anche per spiegare le tecniche di preparazione e di montaggio del campione richieste dal dispositivo Zeiss. Una volta che tutto il processo che porta all’ acquisizione di immagini 3D con questa particolare tecnica sarà vhiaro, saremo pronti per analizzare il problema della registrazione in un esperimento multi-view. Le tecniche implementate nel software ZEN associato al dispositivo Zeiss verranno spiegate nel dettaglio per poi passare all’ analisi dei risultati ottenuti e alla proposizione di due nuove idee. Nel capitolo 3 quindi, si entra nel dettaglio del problema della registrazione. Da questo punto in poi si è resa necessaria un’ attenta analisi delle immagini 3D che è stata largament condotta su un software gratuito molto utile per la visualizzazione di immagini Fiji e su ZEN, il software della Zeiss associato al microscopio Lightsheet Z.1. Verranno quindi prima presentati e analizzati i risultati che possono già essere ottenuti con le tecniche di registrazione disponibili nel software della Zeiss. Poi, passeremo alla presentazione delle due nuove idee che abbiamo proposto alla Zeiss per migliorare i loro risultati. Per ognuna di esse sarà presentata una base teorica, seguita dai risultati ottenuti lavorando sempre sullo stesso campione. Dopo che tutti i risultati saranno validati potremo metterli a confronto con quelli precedentemente ottenuti. Per concludere, nel capitolo 4, le nuove idee introdotte verranno richiamate e verranno sottolineati i miglioramenti ottenuti rispetto alle precendenti. Sempre per queste nuove proposte, si individueranno poi anche dei punti che potrebbero essere ulteriormente modificati, aprendo la strada verso tecniche sempre più raffinate. Nell' Appendice A si trova una descrizione dettagliata del plug-in utilizzato in Fiji per applicare l'idea della registrazione basata sui descrittori locali. L' algoritmo é stato sviluppato nel laboratorio CREATIS, originariamente per la registrazione di due viste opposte della Drosophila in microscopia confocale. Dopo aver ottenuto buoni risultati per la registrazione di due viste dello sferoide acquisite col Lightsheet Z.1, abbiamo provato ad utilizzare la stessa tecnica di microscopia anche sulla Drosophila per superare uno dei limiti della microscopia confocale, quale la durata delle acquisizioni. I risultati ottenuti per questo test sono descritti nell'Appendice B. Infine, nell' Appendice C, viene presentata una terza idea innovativa. Quest’ultima non é inclusa come le altre nella dettagliata trattazione del capitolo 3 poiché per il momento rimane ad un livello di analisi preliminare.