Segmentation and matching of teeth from cbct and dental intra-oral scans

Introduction This thesis aims to develop an image fusion technique that combines the sub-millimetre precision of Intra-Oral optical scans (IOS) with the anatomical completeness of maxillofacial Cone Beam Computerized Tomography (CBCT) scans. The fusion of these images allows for the virtual extraction of complete teeth, including dental roots and crowns, by accurately aligning and comparing the two modalities. In the field of dental and maxillofacial imaging, various techniques are employed for diagnosis and treatment planning. CBCT and IOS offer complementary information, with CBCT excelling in visualizing dental roots and IOS capturing occlusal information. Image fusion in dentistry combines different imaging modalities to enhance evaluation and treatment planning, improving image quality, accuracy, and visualization. It has applications in implant dentistry and orthodontics, improving diagnostic capabilities and treatment planning. The study focuses on assessing the precision differences between CBCT and IOS to improve the accuracy of future image fusion techniques. The results are obtained by segmenting teeth from CBCT scans and refining IOS scans to consider only dental crowns. The registered 3D meshes are then analysed using metrics such as the Hausdorff distance and presented through visualizations and boxplots. The study concludes that by understanding the limitations and effectiveness of these techniques, the quality and reliability of dental imaging can be enhanced, leading to improved patient outcomes and better quality of care. Methods CBCT technology offers advantages in dental imaging. CBCT scanners utilize a cone-shaped X-ray beam and a 2D detector to acquire a series of images, which are then reconstructed into a 3D data set. Compared to conventional CT scanners, CBCT provides faster scanning, lower radiation exposure, smaller scanned areas, isotropic spatial resolution, and reduced costs. It is particularly suitable for dento-maxillo-facial imaging, since it provides high-resolution images with submillimeter voxel resolution, allowing for detailed visualization of structures. It significantly reduces radiation dose compared to fan-beam CT systems, contributing to patient safety. CBCT has various applications in dentistry, including dental implant planning, orthodontic treatment, temporomandibular joint (TMJ) disorder diagnosis, sleep apnea assessment, and evaluation of jaw trauma. It offers detailed, accurate, and low-dose radiation images with reduced movement artifacts. Another essential instrument in dental clinical practices is IOS. It consists of a handheld camera, computer, and software designed to capture accurate 3D geometry and shape of dental arches. IOS devices utilize light projection, distance determination, image processing, and 3D model reconstruction principles to create a 3D image of the patient's mouth. IOS offers high accuracy in capturing detailed images of teeth and soft tissues, leading to improved precision in dental diagnoses, treatment planning, and restorative procedures. It is more efficient and timesaving compared to traditional impression techniques. Patients experience increased comfort since IOS eliminates the need for impression materials in the mouth. The digital storage capability of IOS images eliminates physical storage requirements. It also facilitates communication between dentists and dental laboratories, allows for improved patient education, and reduces the risk of cross-contamination in the dental office. To proper visualize the acquired images, surface reconstruction methods are techniques used to create 3D models of anatomical structures from medical image data, such as CT or MRI scans. These models allow for the visualization of information acquired during clinical exams. Several common surface reconstruction methods used in medicine including marching cubes, Poisson surface reconstruction, surface fitting and level set methods. Image segmentation in digital image processing is the process of dividing an image into crucial and decisive regions. It is used to extract objects from the background, achieve a more compact representation of data, or as an image analysis tool. There are several types of segmentation methods used in medical image analysis, including manual, semi-automatic, threshold-based and region-based segmentation. Experimental Approach The dataset consists of CBCT scans and IOS of 20 subjects from two different centers. The subjects included both women and men, ranging in age from 19 to 53 years. There were no limitations on the presence of dental treatments performed before the radiological examination. Some patients had only the upper or lower jaw visible in the scans. The IOS scans were obtained using the TRIOS 3 scanner. Sixteen out of the twenty CBCT scans were acquired at the SST Dentofacial Clinic in Segrate, Milano, Italy, using the WhiteFox CBCT scanner. The remaining four CBCT scans were provided by D&S Dental Clinic in Florence, Italy, and collected using the MyRay Hyperion X5 3D/2D CBCT scanner. The CBCT scans had isotropic voxels with dimensions of either 0.2mm or 0.3mm. The teeth segmentation process from the CBCT scans was conducted using the RealGUIDE™ clinical software. The segmentation process aimed to separate and extract teeth from the jawbone. It involved several steps for each patient's CBCT scan. First, the DICOM image series were imported into the software after preprocessing. Then, the teeth segmentation was initiated by manually delineating contours to identify the internal region of the tooth as the area of interest and the external region as background. This process was repeated for each tooth in multiple views (axial, coronal, and sagittal). The AI-based algorithms in RealGUIDE™ analyzed the CBCT volume slices and expanded the initially defined regions, discriminating teeth from other anatomical structures. The final output of CBCT segmentation was a 3D visualization of the segmented teeth, and individual STL files were generated for each segmented tooth. These STL files were then merged using Boolean union operations to obtain an STL file representing the entire upper or lower dental arch. During the segmentation process, various artifacts were identified, such as beam hardening artifacts, metal artifacts, motion artifacts, and partial volume effect artifacts. Manual editing and careful visual inspection were necessary to manage these artifacts, especially when metal artifacts were present. Image registration was performed between the IOS files and the CBCT teeth segmentation using the registration tool in RealGUIDE™. The registration process involved aligning and registering the STL files from the IOS scans with the reference STL file of the segmented CBCT scans. The registration was performed automatically using a rigid registration algorithm, without distortion or stretching. Once the alignment was established, the patient's surface STL file from the IOS scans was merged with the reference STL file from the CBCT scans, resulting in a combined representation of the patient's dental anatomy. To calculate the distance between the registered meshes (teeth segmentation and refined IOS), the Hausdorff distance was used in this study. The Hausdorff distance measures the maximum distance between points in two sets and provides a measure of their "closeness." MeshLab, an open-source software for processing and editing 3D triangular meshes, was used to calculate the Hausdorff distance. The data obtained from the Hausdorff distance calculation were analyzed using Matlab. The Hausdorff and mean distances were obtained separately for the upper and lower dental arches for each patient. Statistical analyses, such as the Anderson-Darling Goodness of Fit Test and box plots, were performed to assess the normality of the measured data. Since the sample size was small and the distribution was not normal, a non-parametric test (Wilcoxon rank sum test) was used to compare the medians of the groups. A significance level of p < 0.05 was considered. In addition, a second analysis compared the outcomes of dental arches with treatments and metal artifacts to those without. Results The results of the study were evaluated using the Hausdorff and mean distances as metrics. The Hausdorff distances and mean distances between the IOS scans and segmented CBCT scans were measured for the upper and lower arches of each patient. The results, shown in Table 4.1, indicate the differences between the two imaging modalities. Color-coded maps were used to visualize the distances between the registered meshes. The statistical analysis of the results revealed that the Hausdorff distances were not normally distributed for both the upper and lower arches. The Wilcoxon rank sum test showed no significant difference between the Hausdorff distances of the upper and lower arches, indicating that their medians are equal. However, when comparing the treated and non-treated groups, a significant difference was found, suggesting that treatments affect the registration accuracy. The root-mean-square error (RMSE) was also analyzed as a measure of the average discrepancy between the meshes. Descriptive statistics for mean distances showed that the RMSE values were not normally distributed for both the upper and lower arches. The Wilcoxon rank sum test revealed no significant difference between the RMSE values of the upper and lower arches. However, a significant difference was found between the RMSE values of the treated and non-treated groups. Conclusions The ultimate objective of this study is to develop a technique for combining IOS and CBCT images to create highly precise representations of the entire teeth. By merging these images, the limitations of each modality can be overcome, and their information can be integrated. This would enable the creation of an accurate virtual model of the complete teeth, including the dental root and crown. Such a model could improve diagnostic accuracy, provide a comprehensive view of dental structures, support clinicians in treatment planning and guided interventions, and facilitate follow-up and monitoring of dental treatments. These benefits would contribute to more effective and patient-centric dental care. To achieve this objective, the thesis aimed to assess the precision difference between CBCT and IOS scans. It was crucial to investigate the influence of artifacts commonly found in CBCT scans caused by metallic objects and dental implants. This examination was necessary to determine the feasibility of achieving precise image fusion. The evaluation of the registered meshes using the Hausdorff distance metric provided quantitative measurements of the differences between CBCT segmentation and IOS scans. This allowed for a comprehensive assessment of the "closeness" between the two imaging modalities. The results showed varying distances between the registered meshes, influenced by different patient characteristics, dental treatments, artifacts, and scanning variations. These factors highlighted the importance of considering individual patient factors in dental imaging and the need for careful interpretation of the obtained distances by the operator. Consequently, the findings could contribute to the development of guidelines for determining when CBCT artifacts significantly impact the image, necessitating IOS fusion to obtain an accurate representation of the entire dentition. Despite the challenges posed by artifacts, this study enhances understanding of image registration techniques in dental applications. The findings offer valuable insights into the accuracy and feasibility of image fusion and registration in dental imaging, thereby aiding in the development of improved dental imaging protocols and treatment strategies. The research also emphasizes the significance of considering dental treatments and their associated artifacts in dental imaging analysis. Moving forward, further research and technological advancements are necessary to address the limitations of image fusion in dentistry and improve the quality and reliability of dental image analysis. Ongoing efforts to develop algorithms and software tools capable of effectively handling artifacts and enhancing the quality of fused images are crucial for advancing dental care. Overall, this thesis represents a preliminary evaluation of the accuracy and precision of two different image modalities, CBCT and IOS, in dental imaging. The findings have clinical relevance and can guide the future development and implementation of improved dental imaging protocols, taking into account the influence of artifacts commonly encountered in CBCT scans due to the presence of metals and implants. Ultimately, these advancements aim to enhance patient outcomes and improve the quality of care in the field of dentistry.

Introduzione Questa tesi mira a sviluppare una tecnica di fusione di immagini che combini la precisione sub-millimetrica delle scansioni ottiche intra-orali (IOS) con la completezza anatomica delle scansioni maxillo-facciali di tomografia computerizzata a fascio conico (CBCT). La fusione di queste immagini consente l'estrazione virtuale di denti completi, comprese le radici dentali e le corone, allineando e confrontando accuratamente le due modalità. Nel campo dell'imaging dentale e maxillo-facciale, vengono utilizzate diverse tecniche per la diagnosi e la pianificazione del trattamento. La CBCT e la IOS offrono informazioni complementari, con la CBCT che eccelle nella visualizzazione delle radici dentali e la IOS che cattura le informazioni occlusali. La fusione di immagini in odontoiatria combina diverse modalità di imaging per migliorare la valutazione e la pianificazione del trattamento, migliorando la qualità, l'accuratezza e la visualizzazione delle immagini. Trova applicazione nell'implantologia e nell'ortodonzia, migliorando le capacità diagnostiche e la pianificazione del trattamento. Lo studio si concentra sulla valutazione delle differenze di precisione tra CBCT e IOS per migliorare l'accuratezza delle future tecniche di fusione delle immagini. I risultati sono ottenuti segmentando i denti da scansioni CBCT e raffinando le scansioni IOS per considerare solo le corone dentali. Le mesh 3D registrate vengono poi analizzate utilizzando metriche come la distanza di Hausdorff e presentate attraverso visualizzazioni e boxplot. Lo studio conclude che, comprendendo i limiti e l'efficacia di queste tecniche, è possibile migliorare la qualità e l'affidabilità dell'imaging dentale, con conseguente miglioramento dei risultati per i pazienti e della qualità delle cure. Metodi La tecnologia CBCT offre vantaggi nell'imaging dentale. Gli scanner CBCT utilizzano un fascio di raggi X a forma di cono e un rilevatore 2D per acquisire una serie di immagini, che vengono poi ricostruite in un set di dati 3D. Rispetto agli scanner CT convenzionali, la CBCT offre una scansione più rapida, una minore esposizione alle radiazioni, aree di scansione più piccole, risoluzione spaziale isotropa e costi ridotti. È particolarmente adatta per l'imaging dento-maxillo-facciale, poiché fornisce immagini ad alta risoluzione con una risoluzione submillimetrica dei voxel, consentendo una visualizzazione dettagliata delle strutture. Riduce significativamente la dose di radiazioni rispetto ai sistemi TC fan-beam, contribuendo alla sicurezza del paziente. La CBCT trova diverse applicazioni in odontoiatria, tra cui la pianificazione degli impianti dentali, il trattamento ortodontico, la diagnosi dei disturbi dell'articolazione temporo-mandibolare (ATM), la valutazione dell'apnea notturna e la valutazione dei traumi mascellari. Offre immagini dettagliate, accurate e a basso dosaggio di radiazioni con ridotti artefatti da movimento. Un altro strumento essenziale nelle pratiche cliniche odontoiatriche è lo IOS. Si tratta di una telecamera portatile, di un computer e di un software progettati per acquisire la geometria e la forma 3D delle arcate dentali. I dispositivi IOS utilizzano la proiezione della luce, la determinazione della distanza, l'elaborazione delle immagini e i principi di ricostruzione del modello 3D per creare un'immagine 3D della bocca del paziente. IOS offre un'elevata accuratezza nell'acquisizione di immagini dettagliate dei denti e dei tessuti molli, consentendo una maggiore precisione nelle diagnosi dentali, nella pianificazione del trattamento e nelle procedure di restauro. È più efficiente e più rapido rispetto alle tecniche d'impronta tradizionali. I pazienti sperimentano un maggiore comfort, poiché IOS elimina la necessità di utilizzare materiali da impronta nel cavo orale. La capacità di archiviazione digitale delle immagini IOS elimina i requisiti di archiviazione fisica. Inoltre, facilita la comunicazione tra dentisti e laboratori odontotecnici, consente una migliore educazione del paziente e riduce il rischio di contaminazione incrociata nello studio dentistico. Per visualizzare correttamente le immagini acquisite, i metodi di ricostruzione delle superfici sono tecniche utilizzate per creare modelli 3D di strutture anatomiche da dati di immagini mediche, come scansioni TC o RM. Questi modelli consentono di visualizzare le informazioni acquisite durante gli esami clinici. Diversi metodi di ricostruzione delle superfici comunemente utilizzati in medicina includono i cubi di marcia, la ricostruzione della superficie di Poisson, l'adattamento della superficie e i metodi level set. La segmentazione delle immagini nell'elaborazione digitale delle immagini è il processo di divisione di un'immagine in regioni cruciali e decisive. Viene utilizzata per estrarre gli oggetti dallo sfondo, per ottenere una rappresentazione più compatta dei dati o come strumento di analisi delle immagini. Esistono diversi tipi di metodi di segmentazione utilizzati nell'analisi delle immagini mediche, tra cui la segmentazione manuale, semiautomatica, basata su soglie e regioni. Approccio sperimentale Il set di dati è costituito da scansioni CBCT e IOS di 20 soggetti provenienti da due centri diversi. I soggetti comprendevano sia donne che uomini, di età compresa tra 19 e 53 anni. Non c'erano limitazioni sulla presenza di trattamenti dentali eseguiti prima dell'esame radiologico. Alcuni pazienti avevano solo la mascella superiore o inferiore visibile nelle scansioni. Le scansioni IOS sono state ottenute utilizzando lo scanner TRIOS 3. Sedici delle venti scansioni CBCT sono state acquisite presso la Clinica Dentofacciale SST di Segrate, Milano, Italia, utilizzando lo scanner CBCT WhiteFox. Le restanti quattro scansioni CBCT sono state fornite dalla Clinica Dentale D&S di Firenze, Italia, e sono state raccolte utilizzando lo scanner CBCT MyRay Hyperion X5 3D/2D. Le scansioni CBCT avevano voxel isotropici con dimensioni di 0,2 mm o 0,3 mm. Il processo di segmentazione dei denti dalle scansioni CBCT è stato condotto utilizzando il software clinico RealGUIDE™. Il processo di segmentazione mirava a separare ed estrarre i denti dall'osso mascellare. Ha comportato diverse fasi per ogni scansione CBCT del paziente. Innanzitutto, le serie di immagini DICOM sono state importate nel software dopo la pre-elaborazione. Quindi, è stata avviata la segmentazione dei denti delineando manualmente i contorni per identificare la regione interna del dente come area di interesse e la regione esterna come sfondo. Questo processo è stato ripetuto per ogni dente in più viste (assiale, coronale e sagittale). Gli algoritmi basati sull'intelligenza artificiale di RealGUIDE™ hanno analizzato le fette di volume CBCT e hanno ampliato le regioni inizialmente definite, discriminando i denti dalle altre strutture anatomiche. Il risultato finale della segmentazione CBCT è stata una visualizzazione 3D dei denti segmentati e sono stati generati file STL individuali per ciascun dente segmentato. Questi file STL sono stati poi uniti utilizzando operazioni di unione booleana per ottenere un file STL che rappresentasse l'intera arcata dentale superiore o inferiore. Durante il processo di segmentazione sono stati identificati vari artefatti, come artefatti da indurimento del fascio, artefatti da metallo, artefatti da movimento e artefatti da effetto volume parziale. Per gestire questi artefatti è stato necessario un editing manuale e un'attenta ispezione visiva, soprattutto in presenza di artefatti metallici. La registrazione delle immagini è stata eseguita tra i file IOS e la segmentazione dei denti CBCT utilizzando lo strumento di registrazione di RealGUIDE™. Il processo di registrazione prevedeva l'allineamento e la registrazione dei file STL delle scansioni IOS con il file STL di riferimento delle scansioni CBCT segmentate. La registrazione è stata eseguita automaticamente utilizzando un algoritmo di registrazione rigido, senza distorsioni o stiramenti. Una volta stabilito l'allineamento, il file STL della superficie del paziente dalle scansioni IOS è stato unito al file STL di riferimento delle scansioni CBCT, ottenendo una rappresentazione combinata dell'anatomia dentale del paziente. Per calcolare la distanza tra le mesh registrate (segmentazione dei denti e IOS raffinato), in questo studio è stata utilizzata la distanza di Hausdorff. La distanza di Hausdorff misura la distanza massima tra i punti di due insiemi e fornisce una misura della loro "vicinanza". Per calcolare la distanza di Hausdorff è stato utilizzato MeshLab, un software open source per l'elaborazione e la modifica di mesh triangolari 3D. I dati ottenuti dal calcolo della distanza di Hausdorff sono stati analizzati con Matlab. Le distanze di Hausdorff e le distanze medie sono state ottenute separatamente per le arcate dentali superiori e inferiori di ciascun paziente. Per valutare la normalità dei dati misurati sono state eseguite analisi statistiche, come il test di Anderson-Darling sulla bontà dell'adattamento e i box plots. Poiché le dimensioni del campione erano ridotte e la distribuzione non era normale, è stato utilizzato un test non parametrico (Wilcoxon rank sum test) per confrontare le mediane dei gruppi. È stato considerato un livello di significatività pari a p < 0,05. Inoltre, una seconda analisi ha confrontato i risultati delle arcate dentarie con trattamenti e artefatti metallici con quelle senza. Risultati I risultati dello studio sono stati valutati utilizzando come metriche le distanze di Hausdorff e la media. Le distanze di Hausdorff e le distanze medie tra le scansioni IOS e le scansioni CBCT segmentate sono state misurate per le arcate superiori e inferiori di ciascun paziente. I risultati, riportati nella Tabella 4.1, indicano le differenze tra le due modalità di imaging. Per visualizzare le distanze tra le maglie registrate sono state utilizzate mappe con codici colore. L'analisi statistica dei risultati ha rivelato che le distanze di Hausdorff non erano normalmente distribuite sia per l'arcata superiore che per quella inferiore. Il test della somma di rango di Wilcoxon non ha mostrato differenze significative tra le distanze di Hausdorff dell'arco superiore e inferiore, indicando che le loro mediane sono uguali. Tuttavia, confrontando i gruppi trattati e non trattati, è stata riscontrata una differenza significativa, suggerendo che i trattamenti influenzano l'accuratezza della registrazione. È stato analizzato anche l'errore quadratico medio (RMSE) come misura della discrepanza media tra le maglie. Le statistiche descrittive per le distanze medie hanno mostrato che i valori di RMSE non erano normalmente distribuiti sia per l'arco superiore che per quello inferiore. Il test della somma di rango di Wilcoxon non ha rivelato alcuna differenza significativa tra i valori RMSE dell'arco superiore e inferiore. Tuttavia, è stata riscontrata una differenza significativa tra i valori RMSE dei gruppi trattati e non trattati. Conclusioni L'obiettivo finale di questo studio è quello di sviluppare una tecnica per combinare immagini IOS e CBCT per creare rappresentazioni altamente precise dell'intera dentatura. Unendo queste immagini, è possibile superare le limitazioni di ciascuna modalità e integrare le loro informazioni. Ciò consentirebbe di creare un modello virtuale accurato dei denti completi, comprese la radice e la corona dentale. Tale modello potrebbe migliorare l'accuratezza diagnostica, fornire una visione completa delle strutture dentali, supportare i medici nella pianificazione del trattamento e negli interventi guidati e facilitare il follow-up e il monitoraggio dei trattamenti dentali. Questi vantaggi contribuirebbero a una cura dentale più efficace e incentrata sul paziente. Per raggiungere questo obiettivo, la tesi mirava a valutare la differenza di precisione tra le scansioni CBCT e IOS. È stato fondamentale indagare l'influenza degli artefatti comunemente presenti nelle scansioni CBCT causati da oggetti metallici e impianti dentali. Questo esame era necessario per determinare la fattibilità di una fusione precisa delle immagini. La valutazione delle mesh registrate utilizzando la metrica della distanza di Hausdorff ha fornito misure quantitative delle differenze tra la segmentazione CBCT e le scansioni IOS. Ciò ha consentito una valutazione completa della "vicinanza" tra le due modalità di imaging. I risultati hanno mostrato distanze variabili tra le mesh registrate, influenzate dalle diverse caratteristiche dei pazienti, dai trattamenti dentali, dagli artefatti e dalle variazioni di scansione. Questi fattori hanno evidenziato l'importanza di considerare i fattori individuali del paziente nell'imaging dentale e la necessità di un'attenta interpretazione delle distanze ottenute da parte dell'operatore. Di conseguenza, i risultati potrebbero contribuire allo sviluppo di linee guida per determinare quando gli artefatti della CBCT hanno un impatto significativo sull'immagine, rendendo necessaria la fusione IOS per ottenere una rappresentazione accurata dell'intera dentizione. Nonostante le sfide poste dagli artefatti, questo studio migliora la comprensione delle tecniche di registrazione delle immagini nelle applicazioni dentali. I risultati offrono preziose indicazioni sull'accuratezza e sulla fattibilità della fusione e della registrazione delle immagini nell'imaging dentale, contribuendo così allo sviluppo di protocolli di imaging dentale e di strategie di trattamento migliori. La ricerca sottolinea inoltre l'importanza di considerare i trattamenti dentali e gli artefatti ad essi associati nell'analisi delle immagini dentali. In futuro, sono necessari ulteriori ricerche e progressi tecnologici per affrontare i limiti della fusione di immagini in odontoiatria e migliorare la qualità e l'affidabilità dell'analisi delle immagini dentali. Gli sforzi continui per sviluppare algoritmi e strumenti software in grado di gestire efficacemente gli artefatti e migliorare la qualità delle immagini fuse sono fondamentali per far progredire le cure dentali. Nel complesso, questa tesi rappresenta una valutazione preliminare dell'accuratezza e della precisione di due diverse modalità di immagine, CBCT e IOS, nell'imaging dentale. I risultati hanno rilevanza clinica e possono guidare il futuro sviluppo e l'implementazione di protocolli di imaging dentale migliorati, tenendo conto dell'influenza degli artefatti comunemente riscontrati nelle scansioni CBCT a causa della presenza di metalli e impianti. In definitiva, questi progressi mirano a migliorare i risultati dei pazienti e la qualità delle cure nel campo dell'odontoiatria.