Count on me : automated neural network-based systems for the apoptotic nuclei detection

Apoptosis is the programmed cell death, a highly regulated process responsible for cellular turnover in living tissues. Its alterations and associated events are involved in various form of disease, including cancer. Identifying apoptotic cells in pathological tissues provides valuable insights into the disease progression and helps evaluating the efficacy of putative therapies. Various apoptosis detection modalities are current available, and they largely rely on empirical assessments from biologists. The process is laborious, time consuming and subjected to human error. To overcome this gap, we propose two automatic computerized systems to detect and quantify apoptotic cells in microscopic images to optimize time of the analysis, improve accuracy and abate the incidence of human errors. The two proposed methods are based on deep learning algorithms and applied to confocal microscopic images of human metastatic melanoma cells. Both of them are inserted in a work pipeline involving minimal data pre-processing and post-processing to extract parameters of interest. The first method, based on object detection, consists in a VGG16-like convolutional neural network (CNN) trained as a binary classifier to identify apoptotic nuclei in small windows. Apoptotic and intact nuclei were manually cropped from the original images. The class imbalance issue was addressed by the construction of a balanced dataset by means of a dynamic under-sampling along the learning process (i.e. the network is trained with data that change over training iterations for the majority class) and a customized loss function in order to minimize false negative predictions. Once the classifier was trained, it was systematically applied over test images in a sliding window fashion: the input image images were scanned with specific pixels resolution and for each position the CNN was applied. If the model identified an apoptotic event, the window was marked with a bounding box. In case of overlapping boxes, the nucleus was identified with their centroid. The second method performs semantic segmentation over the entire image, distinguishing between intact nuclei, apoptotic fragments, and the remaining background. For this case, UNet architecture was chosen and adapted for the specific purpose, together with a customized loss function to target the class imbalance issue. To evaluate the results of the first proposed detection framework, various standard performance parameters were used, resulting in satisfactory values for accuracy, precision and recall in validation samples, all above 0.98. Two input’s sizes were investigated. In both cases, stride was set to half-size of the window or to a quarter window’s size. A proper fit of these two parameters resulted essential for achieving satisfying results. The input size was proved to affect localization performances and a proper discrimination of events appearing really close each other as separated entities. The stride value instead was fundamental for a complete and accurate detection of all the apoptotic fragments. The main disadvantage of the sliding window detection is the computational cost. Reducing the stride allows for a more accurate localization, but at the same time brings the disadvantage of increasing the computational time by a factor of 4. Choosing instead a larger stride, the number of windows to be predicted decreases, but the coarser granularity impacts both on detection and localization performance. Thus, a proper trade-off should be set between these two factors. It resulted not possible to compare obtained results with a ground-truth, since provided annotations resulted only partially accurate, caused by the lack of sensitivity of the previous software used for the same analysis. Biologists considered satisfactory the obtained results after inspection. Semantic segmentation performances were evaluated in terms of Intersection over Union, a common metric used to estimate the overlap between predictions and ground-truth masks, calculated separately for each class. The achieved value for intact nuclei segmentation in validation samples, equal to 0.8599 was retained satisfactory; for apoptotic nuclei instead, the achieved value of 0.5105 did not suggest as good performances at first glance. This was not confirmed in test phase, resulting in a correct detection of all apoptotic events reported in the available annotations and a number of apparent false positive detections, consistent with the partial accuracy of annotations, then corrected as true apoptotic events after biologists’ inspection. Thus, results confirmed a considerable accomplishment of the task, achieved with limited data employment and thanks to the extensive use of data augmentation. The computational time required for a single image was of the order of seconds, guarantying a significant time saving. Comparing the two methods, the extra predictions in respect to the available annotations resulted consistent between the two, confirming the capability of detecting real apoptotic events in those positions. The first method resulted more sensible, with always a greater number of detections. The second method has instead the advantage of more precisely localizing apoptotic events and being computationally more efficient. We present two CNN-based solutions for individuation of apoptosis in microscopic images. The proposed approaches can speed up biologists’ work and reduce human errors’ incidence. In future developments, the image analysis framework of the first method will be improved for what concerns the accuracy-prediction time trade-off. Considering the appreciable prediction capabilities, a reduction of computational time will be targeted. For the second method instead, an improvement of the learning process will be targeted, by properly redesigning loss and metric definitions, along with an increase in the quantity of input data and quality of corresponding labels. The two frameworks will be also applied to new class of images to study different cells populations.

L’apoptosi è la morte cellulare programmata, un processo altamente regolato responsabile del turnover cellulare nei tessuti viventi. La sua alterazione e gli eventi ad essa associati sono coinvolti in varie patologie, tra cui il cancro. L’identificazione di cellule apoptotiche in tessuti patologici fornisce preziose informazioni sulla progressione della malattia e aiuta a valutare l’efficacia di terapie putative. Varie modalità di detezione per l’apoptosi sono attualmente disponibili, e si basano in gran parte su analisi empiriche da parte dei biologi. Il processo risulta laborioso, dispendioso in termini di tempo e soggetto a errori umani. Per superare questi limiti, proponiamo sistemi automatici computerizzati per rilevare e quantificare cellule apoptotiche in immagini microscopiche, con l’obiettivo di ottimizzare i tempi di analisi, migliorare l’accuratezza, e abbattere l’incidenza di errore umano. I due metodi proposti sono basati su tecniche di Deep Learning applicate a immagini di microscopio confocale di cellule umane derivanti da melanoma metastatico. Entrambi sono inseriti in una pipeline di lavoro che richiede minima preelaborazione delle immagini e post-processamento dell’output per l’estrazione dei parametri di interesse. Il primo metodo, basato sul rilevamento di oggetti, consiste in una rete neurale convoluzionale (CNN) simile a VGG16, addestrata come classificatore binario per identificare nuclei apoptotici in piccole finestre. Nuclei intatti e apoptotici sono stati manualmente ritagliati dalle immagini originali. Il problema dello sbilanciamento delle due classi è stato indirizzato con la costruzione di un dataset bilanciato tramite un sotto campionamento dinamico della classe dominante durante il processo di addestramento (i.e. la rete neurale è allenata con immagini della classe maggioritaria che cambiano con le iterazioni del training) e una funzione di perdita realizzata appositamente per minimizzare le predizioni falsi negativi. Una volta addestrato il classificatore, questo è applicato sistematicamente sulle immagini di test con una procedura a sliding-window: l’immagine di input è scansionata con una specifica risoluzione in numero di pixels, e per ogni posizione la CNN è stata applicata. Se il modello identificava un evento apoptotico, la finestra veniva segnata con un bounding-box. In caso di bounding-box sovrapposti, il nucleo veniva identificato con il loro centroide. Il secondo metodo compie una segmentazione semantica sull’intera immagine, distinguendo tra nuclei intatti, frammenti apoptotici e il rimanente background. Per questo caso, un’architettura UNet è stata scelta e adattata al caso specifico, insieme a una funzione di perdita personalizzata per risolvere il problema dello sbilanciamento delle classi. Per valutare i risultati del framework di detezione proposto, sono stati usati diversi indici standard di performance, risultando in valori soddisfacenti per accuratezza, precisione e recall sui campioni di validazione, tutti sopra 0.98. Due dimensioni di input sono state investigate. In entrambi i casi, il passo della finestra è stato fissato a metà e un quarto della dimensione di input. L’assegnazione di un valore adeguato a questi due parametri è risultata essenziale per il raggiungimento di risultati soddisfacenti. La dimensione di input influenza le performance sulla localizzazione e un’appropriata discriminazione di eventi molto vicini tra loro come entità separate. Il passo della finestra invece è fondamentale per una rilevazione completa e accurata di tutti i frammenti apoptotici. Lo svantaggio maggiore della detezione con sliding window è il costo computazionale. Riducendo il passo si ottiene una localizzazione più accurate, ma porta allo stesso tempo lo svantaggio di aumentate il tempo computazionale di un fattore 4. Scegliendo invece un passo più largo, il numero di finestre da predire si riduce, ma la meno fine granularità impatta sia sulle performances di detezione che di localizzazione. Per questo motivo, un adeguato trade-off deve essere scelto tra questi due fattori. Non è stato possibile comparare i risultati ottenuti con un gold-standard, dal momento che le annotazioni fornite sono risultate solo parzialmente accurate, a causa di una mancanza di sensitività del software precedentemente usato per la stessa analisi. I biologi hanno considerato soddisfacenti i risultati ottenuti dopo loro ispezione. Le performances della segmentazione semantica sono state valutate in termini di Intersezione su Unione, una metrica comune usata in segmentazione per valutare il grado di sovrapposizione tra la predizione del modello e le maschere di target, calcolata separatamente per ogni classe di interesse. Il valore raggiunto sulla segmentazione dei nuclei intatti, pari a 0.8599, è stato ritenuto soddisfacente; per la segmentazione dei nuclei apoptotici invece, il valore raggiunto, pari a 0.5105, non suggeriva performances così buone a primo impatto. Questo non è stato confermato nella fase di test, risultante in una corretta rilevazione di tutti gli eventi apoptotici riportati nelle annotazioni a disposizione, e a un apparente numero di predizioni false positive, consistente con la parziale accuratezza delle annotazioni, poi corrette come veri eventi apoptotici dopo ispezione da parte dei biologi. Conseguentemente, i risultati hanno confermato un considerevole compimento del task, raggiunto con un impiego limitato di dati e l’uso estensivo di data augmentation. Il tempo computazionale richiesto per una singola immagine è dell’ordine dei secondi, garantendo un considerevole risparmio di tempo per i biologi. Confrontando i due metodi proposti, le predizioni in più rispetto alle annotazioni disponibili sono risultate consistenti tra i due approcci, confermando la capacità di entrambi di rilevare correttamente reali eventi apoptotici in quelle posizioni. Il primo metodo è risultato più sensibile, con un numero di predizioni sempre maggiori della segmentazione. Il secondo metodo ha invece il vantaggio di localizzare in maniera più precisa gli eventi apoptotici e di essere computazionalmente più efficiente. Presentiamo due soluzioni basate su CNN per l’individuazione di apoptosi in immagini microscopiche. Gli approcci proposti possono velocizzare il lavoro dei biologi e ridurre l’incidenza di errori umani. In sviluppi futuri, il framework di analisi delle immagini sarà migliorato per quel che riguarda il trade-off tra accuratezza e tempo di predizione. Considerando le apprezzabili capacità di predizione, una riduzione del tempo computazionale verrà indirizzata. Per il secondo metodo invece, un miglioramento del processo di addestramento verrà mirato, riprogettando le definizioni di funzione di perdita e metriche, insieme a un aumento della quantità di dati impiegati e qualità delle corrispondenti maschere. I due frameworks saranno anche applicati a nuove classi di immagini per studiare diverse popolazioni cellulari.