Deep learning in foreign body response : automated systems for microscopy image analysis

Abstract Introduction The Foreign Body Response (FBR) is a mechanism of defense evolved by hosts to deal with the penetration of potentially harmful foreign materials and reduce consequent side effects [Ref]. In implant medicine, however, the FBR represents a clinical problem as it causes malfunction and failure of implanted devices. Thus, monitoring and analyzing the FBR dynamics in pre-clinical models is crucial [Ref]. To this purpose, mice implanted with polymeric scaffolds coupled to intravital non-linear microscopy acquisition have been implemented as a model to study the evolution of the FBR over time. From the latter, analysis consists of manual localization of both cellular and subcellular structures of interest and quantification of related features, which is time-consuming and subjected to human error. Consequently, automated software tools are needed to overcome these pitfalls, for which deep learning techniques represent a potential solution. In this work we propose a versatile adaptation of neural-network-based systems to: 1) determine the primary orientation of collagen fibrils around scaffold’s framework, 2) extract the fibroblasts’ profile to quantify parameters of interest, and 3) segment scaffold-associated and interstitial cells to quantify their amounts. Materials and Methods In each task, we used an adaptation of the U-Net neural network architecture to segment relevant structures [Ref] and integrated it into the standard image processing pipeline to extract significant features. For each task, the network was first trained with in-house microscopy images, labelled under the supervision of an expert biologist, and then validated on a distinct set of images. 1) Application 1: Quantification of Collagen Orientation. Quantification relative to scaffold framework was achieved by combining semantic segmentation to a customized directional filtering. The segmentation isolated the scaffold structure, while directional filtering highlighted the orientation of both scaffold and collagen fibrils by filtering them with the defined kernels. Finally, collagen orientations, in the form of histogram counts, were referred to scaffold predominant directionality to quantify collagen overall trend. Input images were preprocessed to highlight information content for optimal machine perception, according to a cascade of normalization, gamma correction and histogram stretching based on each image statistics. The neural network for scaffold segmentation was trained and validated on independent datasets of respectively 256 and 120 samples created with the extensive use of data augmentation, following a customized training strategy. The directional filtering kernels were created by approximating linear edges oriented at the desired angular resolutions. Filtering results were combined to assign a predominant orientation to each pixel belonging to a boundary of the structure of interest. Finally, scaffold orientations were extracted from the skeletonized segmentation result, while collagen orientations were considered only outside the scaffold mask to avoid artifacts. 2) Application 2: Extraction of Fibroblast Parameters. First, the neural network accomplished semantic segmentation of fibroblasts. The segmentation was then refined through isolation of the cells based on pixel connectivity. Input images were preprocessed (as performed for collagen) to highlight relevant content, and the neural network was trained and validated on independent, augmented datasets of 200 and 88 samples, respectively. The training phase minimized a customized loss functions where each pixel was assigned a weight to segment with particular attention near or touching fibroblasts, allowing for the subsequent separation via connectivity. Finally, area, centroid coordinates and main orientation of each fibroblast and their mutual distances were extracted. Main orientation was quantified as for collagen. 3) Application 3: Segmentation of Scaffold-Associated Cells. Semantic segmentation of scaffold-associated cells, interstitial cells and acellular background was performed end-to-end to quantify area and growth of cellular species. Input images were individually normalized over their intensity values and the neural network was trained and validated on separate augmented datasets of respectively 200 and 88 samples with a multiclass training. At inference time, area was eventually quantified for each class from the predicted segmentation. Results and Discussion The semantic segmentation methods resulted to be accurate for all applications yielding the following metrics on the respective validation sets: 1) Application 1: Quantification of Collagen Orientation. Collagen orientation was successfully extracted. 0.7955 mIoU (mean Intersection over Union), sufficient both to extract scaffold predominant directionality and to fully cover scaffold artifacts when evaluating collagen orientations. 2) Application 2: Extraction of Fibroblast Parameters. Fibroblasts were successfully segmented and area, centroid, main orientation of each and mutual distances retrieved. 0.8869 mIoU, reflecting the adhesion to the segmentation task. Moreover, a weighted probability likelihood metric was evaluated to also account for separation of near cells, with a considerable outcome. Contained borders of touching fibroblasts in predicted segmentation masks allowed for successful instance separation via connectivity indeed. 3) Applicatin 3: Segmentation of Scaffold-Associated Cells. Scaffold-associated and interstitial cells were correctly identified and quantified. 0.5330, 0.5795 and 0.9019 mIoU respectively for scaffold-associated cells, interstitial cells and background, reasonable values given the data domain of application and the issues concerning training set labeling. A meaningful generalization capability allowed to question human performances in gold-standard label creation for some instances. Finally, a qualitative evaluation of segmentation results was visually performed by biologists, leading to satisfying outcomes for all applications. Conclusions We herein present automated software tools for the detection of structures and associated features of interest within FBR phenomenon. For better outcomes, both quantity and quality of input images an labels will be increased. The first because training with minimal data variability limits the domain where a model can be meaningfully employed, the second since coherent examples have to be shown for an effective training.

Sommario Introduzione La risposta ad agenti estranei (Foreign Body Response, FBR) è un meccanismo di difesa sviluppato all’organismo in risposta alla penetrazione di materiale estraneo potenzialmente dannoso per ridurne i conseguenti effetti negativi [Ref]. In implantologia prostetica, tuttavia, il FBR rappresenta un problema clinico dal momento che causa il malfunzionamento, nonché insuccesso, dei dispositivi impiantati. Dunque, il monitoraggio e l’analisi delle dinamiche coinvolte nel FBR in modelli pre-clinici è di cruciale importanza [Ref]. A questo fine, sono stati impiegati ratti con impianti di scaffold polimerici come modello per studiare l’evoluzione del FBR nel tempo tramite acquisizioni di microscopia non-lineare intra-vitale. Riguardo quest’ultima, l’analisi consiste nella localizzazione manuale delle strutture di interesse, sia cellulari che subcellulari, e nella quantificazione delle relative caratteristiche, procedura dispendiosa in termini di tempo e soggetta all’errore umano. Di conseguenza, strumenti software automatizzati si rendono necessari per superare questi svantaggi, a cui le tecniche di deep learning rappresentato una potenziale soluzione. In questo lavoro viene proposto un versatile adattamento di sistemi basati su reti neurali per: 1) determinare l’orientamento principale delle fibre di collagene intorno alla struttura dello scaffold, 2) estrarre il profilo dei fibroblasti per quantificarne i parametri di interesse, e 3) segmentare le cellule associate allo scaffold e le cellule interstiziali per stimarne le rispettive quantità. Materiali e Metodi In ognuna delle applicazioni, è stato utilizzato un adattamento dell’architettura della rete neurale U-Net per segmentare le strutture di interesse [Ref] ed integrato con le tradizionali procedure di elaborazione di immagini per estrarre le caratteristiche significanti. Per ogni applicazione, la rete è stata prima addestrata su immagini di microscopia in-house, etichettate sotto la supervisione di un biologo esperto, e successivamente validata su un distinto insieme di immagini 1) Applicazione 1: Quantificazione dell’Orientamento del Collagene. Tale quantificazione, riferita all’intelaiatura dello scaffold, è stata raggiunta combinando la segmentazione semantica ad un filtraggio direzionale ad-hoc. La segmentazione ha isolato la struttura dello scaffold, mentre il filtraggio direzionale ha evidenziato l’orientamento sia dello scaffold stesso che delle fibre di collagene tramite la convoluzione con i definiti kernel. Infine, gli orientamenti del collagene, sottoforma di istogramma, sono stati riferiti alla direzione predominante dello scaffold per quantificare la disposizione complessiva del collagene. Le immagini di ingresso sono state pre-elaborate in modo da evidenziarne il contenuto informative per un’ottimale percezione artificiale, seguendo in cascata una normalizzazione, una correzione gamma ed uno stretching dell’istogramma basati sulle statistiche di ogni immagine. La rete neurale per la segmentazione dello scaffold è stata addestrata e validata su dataset indipendenti rispettivamente di 256 e 120 campioni creati tramite l’impiego estensivo di data augmentation, seguendo una strategia di training specifica. I kernel per il filtraggio direzionale sono stati create approssimando bordi lineari orientati alla risoluzione angolare desiderata. I risultati del filtraggio sono stati combinati per assegnare un orientamento predominante ad ogni pixel appartenente ad un contorno della struttura di interesse. Infine, gli orientamenti dello scaffold sono stati estratti dal risultato della segmentazione skeletonizzato, mentre gli orientamenti del collagene sono stati considerati solamente al di fuori della maschera dello scaffold per evitare artefatti. 2) Applicazione2: Estrazione dei Parametri dei Fibroblasti. Prima la rete neurale ha realizzato la segmentazione dei fibroblasti, poi le cellule sono state isolate in base alla connettività dei pixel. Le immagini in ingresso sono state pre-elaborate (come fatto per il collagene) per evidenziarne il contenuto rilevante, e la rete è stata addestrata e validata su dataset indipendenti ed incrementati tramite data augmentation di 200 e 88 campioni, rispettivamente. La fase di training ha minimizzato una funzione di perdita ah-hoc dove ad ogni pixel era stato assegnato un peso per segmentare con particolare attenzione le cellule vicine o a contatto, permettendo la seguente separazione via connettività. Infine, area, coordinate del centroide e orientamento principale di ogni fibroblasto e le loro mutue distanze sono state estratte. L’orientamento principale è stato quantificato come per il collegene. 3) Applicazione 3: Segmentazione delle Cellule Associate allo Scaffold. La segmentazione semantica di cellule associate allo scaffold, cellule intrerstiziali e background acellulare è stata effettuata end to end per quantificare l’area e la crescita delle specie cellulari. Le immagini di ingresso sono state normalizzate individualmente sui propri valori di intensità e la rete neurale è stata addestrata e validata su dataset separati ed incrementati tramite data augmentation di rispettivamente 200 e 88 campioni con un training multi-classe. Applicate le inferenze, l’area è stata infine quantificata per ogni classe dalla segmentazione predetta. Risultati e Discussioni I metodi di segmentazione semantica sono risultati accurate per tutte le applicazioni dando le seguenti metriche sui rispettivi dataset di validazione: 1) Applicazione 1: Quantificazione dell’Orientamento del Collagene. L’orientamento del collagene è stato estratto con successo. 0.7955 di intersezione su unione media (mean Intersection over Union, mIoU), sufficiente sia ad estrarre la direzione predominante dello scaffold sia a ricoprire interamente gli artefatti dello scaffold in fase di valutazione degli orientamenti del collagene. 2) Aplicazione 2: Estrazione dei Parametri dei Fibroblasti. I fibroblasti sono stati segmentati con successo e l’area, il centroide, l’orientamento principale di ognuno e le mutue distanze sono stati estratti. 0.8869 di mIoU, riflettendo l’adesione all’obiettivo di segmentazione. Inoltre, una metrica di similitudine di probabilità pesata è stata valutata per considerare anche la separazione di cellule vicine, con un considerevole risultato. I contorni contenuti delle cellule a contatto nelle maschere di segmentazione predette ha infatti permesso di separare le istanze con successo attraverso la connettività. 3) Applicazione 3: Segmentazione delle Cellule Associate allo Scaffold. Le cellule associate allo scaffold e le cellule interstiziali sono state correttamente identificate e quantificate. 0.5330, 0.5795 e 0.9019 di mIoU rispettivamente per cellule associate allo scaffold, cellule interstiziali e background, valori ragionevoli dati il dominio dei dati di applicazione e i problemi riguardanti l’etichettamento del dataset di training. Una significativa capacità di generalizzazione ha consensito di dubitare delle prestazioni umane nella generazione del gold-standard per alcuni campioni. Infine, una valutazione qualitative dei risultati è stata effettuata visivamente dai biologi, portando a soddisfacenti esiti per tutte le applicazioni. Conclusioni Sono qui stati presentati strumenti software automatizzati per la detezione delle strutture e delle associate caratteristiche di interesse all’interno del fenomeno del FBR. Per risultati migliori, sia la quantità che la qualità delle immagini di ingresso e dei risultati ad essi manualmente etichettati sarà incrementata. La prima poiché addestrare una rete con variabilità minima nei dati limita il dominio su cui il modello può essere significativamente impiegato, la seconda dato che per un training efficace devono essere mostrati esempi coerenti.