Deep learning-based 3D facial landmark localization: a two-step approach with CNN and T-Net

This thesis introduces an automated 3D facial landmark annotation system using deep learning, specifically Convolutional Neural Networks (CNNs). Trained on a dataset of 200 stereophotogrammetry-acquired facial models, the model showcases potential applications in orthodontics, maxillofacial, and aesthetic surgery. By reducing manual annotation time, it enhances efficiency and precision in 3D anthropometric analysis, marking a significant stride in automating critical anatomical landmark identification. Furthermore, this study delves into stereophotogrammetry technology, highlighting its relevance in diverse fields. Despite requiring meticulous calibration, its advantages include minimal acquisition time and high accuracy. The conversion of 3D facial models into point cloud data facilitates versatile operations, with further exploration of point cloud processing methods, including PointNet. Emphasizing the crucial role of data pre-processing, ensuring a standardized and well-prepared dataset for effective model training. A two-stage deep learning approach, incorporating CNNs and T-Net architecture, achieves millimeter precision in facial landmark localization. The models undergo thorough analysis, considering variations in preprocessing techniques and their impact on performance. The Refined EsTi model emerges as robust and consistent, showcasing superior performance with adjusted metrics. These findings provide valuable insights for future developments in automated 3D facial landmark localization. The proposed methodology's versatility allows for comprehensive evaluations on diverse facial databases and landmarks, offering potential applications beyond the initial scope. This research represents a significant contribution to the field, demonstrating the potential of deep learning in automating critical anatomical landmark identification for medical and research purposes.

Questa tesi introduce un sistema automatizzato di annotazione dei punti di riferimento facciali in 3D utilizzando il deep learning, in particolare le reti neurali convoluzionali (CNN). Addestrato su un set di dati di 200 modelli facciali acquisiti con la stereofotogrammetria, il modello mostra le potenziali applicazioni in ortodonzia, chirurgia maxillo-facciale ed estetica. Riducendo il tempo di annotazione manuale, migliora l'efficienza e la precisione dell'analisi antropometrica 3D, segnando un passo significativo nell'automazione dell'identificazione dei punti di riferimento anatomici critici. Inoltre, questo studio approfondisce la tecnologia della stereofotogrammetria, evidenziandone la rilevanza in diversi campi. Nonostante richieda una calibrazione meticolosa, i suoi vantaggi includono un tempo di acquisizione minimo e un'elevata precisione. La conversione dei modelli facciali 3D in dati di nuvole di punti facilita le operazioni versatili, con un'ulteriore esplorazione dei metodi di elaborazione delle nuvole di punti, tra cui PointNet. Sottolineare il ruolo cruciale della pre-elaborazione dei dati, garantendo un set di dati standardizzato e ben preparato per un addestramento efficace del modello. Un approccio di deep learning a due stadi, che incorpora CNN e architettura T-Net, raggiunge una precisione millimetrica nella localizzazione dei punti di riferimento facciali. I modelli sono stati sottoposti a un'analisi approfondita, considerando le variazioni nelle tecniche di preelaborazione e il loro impatto sulle prestazioni. Il modello EsTi raffinato emerge come robusto e coerente, mostrando prestazioni superiori con metriche adattate. Questi risultati forniscono indicazioni preziose per gli sviluppi futuri nella localizzazione automatica dei punti di riferimento facciali in 3D. La versatilità della metodologia proposta consente valutazioni complete su diversi database e punti di riferimento facciali, offrendo potenziali applicazioni al di là dello scopo iniziale. Questa ricerca rappresenta un contributo significativo al settore, dimostrando il potenziale del deep learning nell'automatizzare l'identificazione di punti di riferimento anatomici critici per scopi medici e di ricerca.