Optical aberration estimation in light sheet fluorescence microscopy with deep learning

Optical aberration estimation is a key step to compensate for distortions introduced in microscopy setups, in order to improve the quality of acquired images. Deep learning has proved to be a fast and accurate method for the extraction of the phase information, in terms of Zernike coefficients, from the volumetric intensity images of point spread functions (PSFs). It has been recently demonstrated that convolutional neural networks (CNNs) trained on synthetic data can be successfully applied to real images acquired in the widefield fluorescence modality. Among all the fluorescence-based techniques, light-sheet fluorescence microscopy (LSFM) presents several advantageous features for imaging. Here it is explored the applicability of a CNN for the prediction of aberrations in LSFM. We demonstrated that, due to the low numerical aperture value, the aberrations introduced in the illumination path are negligible. This leads to a great advantage on the modeling, reducing the degrees of freedom of the problem. In order to understand the CNN behaviour, hidden layers were visualized, showing a hierarchy of the learnt concepts. The trained network exhibited a bias toward underestimating the low order Zernike modes. It confirmed to be a very fast instrument for aberration prediction, taking a few ms per sample. We focused on the distortions caused by a 45 degrees tilted coverslip to study the aberrations of the novel open-top LS (OTLS) geometry. The problem was studied by means of simulations, showing a good agreement with experimental observations. The network predictions evidenced a difficulty in recovering the phase from the truncated PSF profiles. The results offer a good starting point for a successfull sensorless aberration estimation in LSFM with the advantages of deep learning.

La stima delle aberrazioni ottiche è necessaria per la correzione delle distorsioni nelle immagini di microscopia, al fine di migliorarne la qualità. Il deep learning si è dimostrato un metodo veloce ed efficace per l’estrazione dell’informazione di fase in termini di polinomi di Zernike, partendo da immagini tridimensionali di point spread functions (PSFs). È stato provato che reti neurali convoluzionali (CNNs) istruite con campioni sintetici possono essere sfruttate con successo su immagini reali acquisite in modalità di fluorescenza widefield. La microscopia di fluorescenza a foglio di luce (LSFM) presenta vantaggi che la rendono ampiamente utilizzata in diversi ambiti. Nel presente lavoro si è indagata l’applicabilità di una rete convoluzionale per la stima delle aberrazioni in LSFM. Abbiamo dimostrato che, per la piccola apertura numerica, le aberrazioni introdotte nel cammino di illuminazione sono trascurabili. Questo è stato vantaggioso per la caratterizzazione del problema, riducendone i gradi di libertà. Per comprendere il comportamento della rete sono stati visualizzati gli strati nascosti, mostrando l’esistenza di una gerarchia dei concetti nell’apprendimento. La rete istruita presenta la tendenza a sottostimare i modi di Zernike di ordine basso. Si è confermata essere uno strumento veloce, richiedendo pochi ms per campione. Ci siamo focalizzati sulla determinazione delle distorsioni indotte da un vetrino inclinato di 45 gradi, per studiare le aberrazioni nell’innovativa geometria open-top (OTLS). Le simulazioni hanno mostrato un buon accordo con le osservazioni sperimentali. I risultati hanno evidenziato la difficoltà della rete ad estrapolare l’informazione di fase dal profilo troncato delle PSFs. I risultati ottenuti offrono un buon punto di partenza per la stima accurata delle aberrazioni in LSFM, sfruttando i vantaggi del deep learning.