Deep learning classification and evaluation of non-Traction Bronchiectasis

The purpose of this thesis’ project is the development of an automated algorithm able to detect, classify, and quantify the extent of Bronchiectasis affecting human lungs, based on High Resolution Computed Tomography (HRCT) imaging. To accomplish these tasks, a combination of deep learning-based image segmentation and image classification techniques were implemented. A score representing the percentage of affected lung volume was then computed as an indicator of the extent of the disease affecting the tracheobronchial tree. Bronchiectasis is defined as an abnormal, persistent, and irreversible dilation of the airways. Bronchiectasis can be divided into traction and non-traction bronchiectasis, based on the causes of this dilation: traction bronchiectasis is due to the mechanical stiffness caused by the presence of fibrosis in the lung tissues and are usually correlated to cystic fibrosis, while non-traction bronchiectasis is mainly caused by the combination external factors and genetic factors, which put the affected airway in a vicious cycle of impaired mucociliary clearance, chronic infections, inadequate immune response (inflammation), lung tissue destruction and airway dilation. Non-traction bronchiectasis can be divided into three classes, based on their morphological characteristics: cylindrical, cystic, and varicose. Current techniques to diagnose bronchiectasis include an initial clinical investigation looking for the typical symptoms and analyzing the patient’s history, followed by a radiological confirmation. HRCT imaging has been found adequate to allow the recognition of the disease’s radiological signs, which include bronchial dilation, or “Signet-ring” sign, lack of airway tapering, or “Tram-track” sign, mucus plugs and tree-in-bud opacities. Among these, only the bronchial dilation is usually quantitatively assessed through the Broncho-Arterial ratio (BAR). The bronchiectasis severity is commonly assessed through scoring systems, for example the Bronchiectasis Severity Index (BSI) and the FACED score, which consider clinical, spirometric, immunological, and rough radiological features (essentially the number of lobes involved). Currently, there are no quantitative tools able to thoroughly analyse HRCT images in the scope of bronchiectasis diagnosis and severity evaluation. For this reason, the main goal of this thesis project is to develop an algorithm able to automatically recognize non-traction bronchiectasis-affected airways and calculate the percentage volume of the tracheobronchial tree affected by it as a quantitative indicator of the disease extent. The implementation of the procedure consists of a combination of 2D patch-based segmentation and 3D patch-based classification. This thesis is divided into three main chapters. The first chapter is introductory and divided into two parts. The first part is an anatomical description of the normal lung, with particular focus on the tracheobronchial tree morphology and function. The second part describes bronchiectasis characteristics from the symptomatic, aetiologic and radiologic point of view. An extensive description of the commonly used severity scoring systems is also provided. The second chapter describes the available material and the applied methods. The chapter begins with the description of the segmentation algorithm design, training, and evaluation. The design, training and evaluation of the classifier is presented thereafter. Finally, the application of the trained segmentation model and classifier to the full HRCT volumes and the computation of the percentage affected volume are described. The initial dataset is composed of 23 patients and 4624 rectangular regions of interest (ROI), distributed between 1920 ROIs labelled as healthy parenchyma (“H”) and 2704 ROIs containing bronchiectasic airways (“BC”); these are in turn divided into the three above-mentioned classes in the following manner: 728 cylindrical (“CYL”), 1069 cystic (“CYS”), and 907 varicose (“VAR”). The 23 HRCT volumes widely vary in terms of resolution, quantization, and rescaling values; thus, preprocessing is necessary to bring them all on a comparable plane and allow an unbiased 3D implementation of the classification algorithm. The volumes are first filtered with 3D median filtering and anisotropic diffusion filtering, then they are resampled to obtain voxel isotropy. The segmentation algorithm implementation begins with the ROI extraction. Since the ROIs widely vary in terms of dimension and shape, a uniform size of 64x64 pixels was chosen for the extraction. To increase the generalization capabilities of the segmentation algorithm, other ROIs containing important components of the tracheobronchial tree (for example, the trachea and the main bronchi) are manually selected, extracted, and added to the original dataset. The ROIs are then manually segmented, such that pixels belonging to the airway’s lumen (“Airway”) and pixels belonging to the surrounding tissues (“Background”) are labelled differently. Subsequently, the design of the segmentation model takes place: for this purpose, the deep-learning architecture known as UNET was found best suited. The training and evaluation of the UNET is performed through 10-fold cross validation and by tracking the Intersection of Union (IoU) as the merit function. The overall performance is computed by averaging the IoU values from each fold. Data augmentation, mainly consisting in rigid transformations, is applied to each image in the training set to increase the model’s robustness. A second training using the whole dataset at once is then performed to obtain the segmentation model used in the final application. The classification algorithm implementation starts with the VOI extraction; for this purpose, a uniform size of 32x32x32 voxels was chosen. The architecture chosen as the classification model is the 3D Convolutional Neural Network (3D-CNN). Two similar 3D-CNN are designed for this step to be applied in sequence: the first is trained to distinguish healthy (“H”) and bronchiectasic (“BC”) airways; the second is trained to discriminate between the three classes of bronchiectasis (“CYL”, “CYS”, and “VAR”), instead. The training and evaluation of the 3D-CNNs is performed both through 10-folds cross validation and leave-one-out cross validation. At each step of the cross validation, validation accuracy and class-wise sensitivity and precision are computed; their average is then used to evaluate the overall model’s performance. Data augmentation is applied for the training of the classification model as well. A second training using the whole dataset at once was performed again to obtain the classification model used in the final application. The application of the algorithms consists in the segmentation of the full HRCT volume and the segmented airways classification, with the final computation of the percentage affected volume for each bronchiectasis class. The third chapter reports the results. Firstly, the performance of the UNET in terms of Mean IoU, weighted IoU, airway IoU and background IoU (0.7646 ± 0.0436 for Mean IoU, 0.9145 ± 0.0253 for Weighted IoU, 0.5868 ± 0.0680 for Airway IoU and 0.9424 ± 0.0205 for Background IoU) is presented alongside some examples of automated segmentations. Then, the performance of the 3D-CNN is described in terms of overall accuracy (0.9363 ± 0.0754 and 0.5547 ± 0.3147 respectively for the binary classifier and for the 3-classes classifier) and class-based sensitivity and precision. Finally, some examples of full-volume segmentations and classifications are shown. The correlation between the percentage affected volume and the most prevalent class of bronchiectasis recognized by the radiologist for each volume is also depicted. The thesis ends with the conclusions and possible future developments.

Lo scopo di questo progetto di tesi è lo sviluppo di un algoritmo automatico in grado di rilevare, classificare e quantificare l’estensione della bronchiettasia nel polmone umano, basato sull’imaging da Tomografia Computerizzata ad Alta Risoluzione (HRCT). Al fine di perseguire questi compiti, una combinazione di tecniche di segmentazione di immagini e classificazione di immagini basate sul deep learning sono state implementate. Un punteggio rappresentante la percentuale di volume polmonare affetta è poi calcolato come indicatore dell’estensione della malattia nell’albero polmonare. Le bronchiettasie vengono definite come dilatazioni anormali, persistenti ed irreversibili delle vie aeree. Basandosi sull’eziologia, possono essere distinte in bronchiettasie da trazione e non da trazione: le bronchiettasie da trazione sono dovute alla rigidità meccanica causata dalla presenza di tessuto fibrotico nel tessuto polmonare e sono comunemente correlate alla fibrosi cistica, mentre le bronchiettasie non da trazione sono principalmente causate dalla combinazione di fattori esterni e genetici, che pongono la via aerea interessata in un circolo vizioso di clearance mucociliare impedita, infezioni croniche, risposta immunitaria inadeguata (infiammazioni), distruzione del tessuto polmonare e dilatazione della via aerea. Le bronchiettasie non da trazione vengono ulteriormente suddivise in tre classi, basandosi sulle loro caratteristiche morfologiche: cilindriche, cistiche e varicose. Le attuali tecniche per diagnosticare le bronchiettasie includono un’investigazione clinica in cerca dei sintomi tipici e tramite analisi della storia clinica del paziente, seguita poi dalla conferma radiologica. In particolare, l’imaging da HRCT si è rivelato all’altezza per permettere il riconoscimento dei segni radiologici della malattia, che includono dilatazione bronchiale, o “segno dell’anello con castone”, mancanza di tapering, o “segni da binari del tram”, ostruzioni da muco e “segno dell’albero in fiore”. Tra questi, soltanto la dilatazione bronchiale è spesso quantificata tramite il rapporto broncoarterioso (BAR). La severità delle bronchiettasie è comunemente asserita tramite sistemi di punteggio, ad esempio il Bronchiectasis Severity Index (BSI) e il FACED score, che considerano feature cliniche, spirometriche, immunologiche e feature radiologiche approssimative (essenzialmente il numero di lobi interessati). Al momento, non esistono strumenti quantitativi in grado di analizzare a fondo le immagini da Tomografia Computerizzata ad Alta Risoluzione nell’ottica della diagnosi e valutazione della severità delle bronchiettasie. Per questa ragione, l’obiettivo principale di questo progetto di tesi è sviluppare un algoritmo in grado di riconoscere autonomamente le vie aeree affette da bronchiettasia e calcolare la percentuale di volume di albero tracheobronchiale affetta come indicatore quantitativo dell’estensione della malattia. L’implementazione della procedura consiste nella combinazione di una segmentazione patch-based in 2D e una classificazione patch-based in 3D. La tesi è suddivisa in tre capitoli principali. Il primo capitolo è introduttivo e suddiviso in sue parti. La prima è una descrizione anatomica del polmone sano, che pone particolare attenzione alla morfologia e alle funzioni dell’albero tracheobronchiale. La seconda parte descrive le caratteristiche delle bronchiettasie dal punto di vista sintomatico, eziologico e radiologico. Verrà anche fornita un’esaustiva descrizione dei sistemi di punteggio comunemente utilizzati per valutare la severità. Il secondo capitolo descrive i materiali a disposizione e i metodi applicati. Il capitolo comincia con la descrizione del design, del training e della valutazione dell’algoritmo di segmentazione. Il design, training e valutazione del classificatore sono presentati successivamente. Alla fine, verranno descritti l’applicazione del modello di segmentazione e del classificatore allenati su un intero volume da HRCT e il calcolo della percentuale di volume interessato. Il dataset iniziale è composto da 23 pazienti e 4624 Regioni d’Interesse (ROI) rettangolari, distribuite tra 1920 ROI etichettate come parenchima sano (“H”) e 2704 ROI contenenti vie aeree bronchiectasiche (“BC”); queste sono a loro volta suddivise nelle tre classi sopra menzionate nella maniera seguente: 729 cilindriche (“CYL”), 1069 cistiche (“CYS”) e 907 varicose (“VAR”). I 23 volumi da HRCT variano ampiamente in termini di risoluzione, quantizzazione e riscalamento; perciò, un pre-processing è necessario per portarli tutti su un piano confrontabile e consentire un’implementazione dell’algoritmo di classificazione 3D priva di bias. I volumi sono prima filtrati con un filtro mediano e un filtro a diffusione anisotropica, poi ricampionati in modo da ottenere voxel isotropici. L’implementazione dell’algoritmo di segmentazione comincia con l’estrazione delle ROI. Siccome le ROI variano ampiamente in termini di forma e dimensioni, una misura uniforme di 64x64 pixel è stata scelta per l’estrazione. Al fine di aumentare le capacità di generalizzazione dell’algoritmo, altre ROI contenenti parti importanti dell’albero tracheobronchiale (ad esempio la trachea e i bronchi maggiori) sono state manualmente selezionate, estratte ed aggiunte al dataset originale. Le ROI sono vengono poi segmentate manualmente, in modo che i pixel appartenenti al lume della via aerea (“Airway”) e i pixel appartenenti ai tessuti circostanti (“Background”) siano etichettati differentemente. Successivamente, è effettuato il design del modello di segmentazione: per questo scopo, l’architettura deep-learning conosciuta come UNET è stata ritenuta la più adatta. Il training e la valutazione della UNET sono eseguiti tramite cross-validazione 10-fold tenendo traccia della Intersection of Union (IoU) come funzione di merito. La performance complessiva è calcolata come media dei valori di IoU da ogni fold. Un data augmentation, che consiste essenzialmente di trasformazioni rigide, è applicato a ogni immagine nel training set per aumentare la robustezza del modello. Un secondo training che utilizza l’intero dataset è poi effettuato per ottenere il modello di segmentazione utilizzato per l’applicazione finale. L’implementazione dell’algoritmo di classificazione inizia con l’estrazione delle VOI; per questo scopo è stata scelta una dimensione uniforme di 32x32x32 voxel. L’architettura scelta come modello di classificazione è la rete neurale convoluzionale 3D (3D-CNN). Due 3D-CNN simili sono costruite per questo step, da applicare poi in sequenza: la prima è allenata nel distinguere tra vie aeree sane (“H”) e bronchiettasiche (“BC”); la seconda è invece allenata nel distinguere le tre classi di bronchiettasia (“CYL”, “CYS” e “VAR”). Il training e la valutazione delle 3D-CNN sono effettuati sia tramite cross-validazione 10-fold sia tramite cross-validazione leave-one-out. A ogni step della cross-validazione, l’accuratezza sul validation set, la sensitività per ogni classe e la precisione per ogni classe sono calcolate; il lor valore medio è poi utilizzato per valutare la performance complessiva del modello. Un data augmentation è ancora applicato per allenare il modello di classificazione. Un secondo training che utilizza l’intero dataset è ancora una volta effettuato per ottenere il modello di classificazione da utilizzare nell’applicazione finale. L’applicazione degli algoritmi consiste nella segmentazione dell’intero volume da HRCT e la classificazione delle vie aeree segmentate, con il calcolo finale della percentuale di volume affetto per goni classe di bronchiettasia. Il terzo capitolo riporta i risultati. In primis, la performance dell’UNET è presentata in termini di IoU media, IoU pesata, Airway IoU e Background IoU, affiancata ad alcuni esempi di segmentazione automatica. Successivamente, la performance della 3D-CNN è descritta in termini di accuratezza complessiva, sensitività per classe e precisione per classe. Infine, vengono mostrati alcuni esempi di segmentazione e classificazione di volumi interi. È poi rappresentata la correlazione tra la percentuale di volume interessato e la classe di bronchiettasia prevalente riconosciuta dal radiologo in ogni volume. La tesi termina con le conclusioni e possibili sviluppi futuri.