GaussDINO: Gaussian-splatted DINO for 3D-consistent segmentation in SR-microCT bone images

Accurate segmentation of thin and sparse structures in volumetric images requires enforcing 3D coherence, yet fully volumetric training is often memory- and compute-intensive at high spatial resolution. This thesis investigates whether 3D-consistent segmentation can be achieved while preserving the scalability of slice-wise 2D learning. Experiments are conducted segmenting lacunae and microcracks bone microstructures from Synchrotron Radiation micro Computed Tomography (SR-microCT) images, for which a purely 2D analysis may introduce spatial inconsistencies between adjacent slices, affecting subsequent morphometric and biomechanical analyses and the correct interpretation of bone damage mechanisms. In particular, this thesis proposes GaussDINO, a hybrid 2D-3D framework that couples a DINOv3-based 2D U-Net with explicit volumetric regularization via feature-level distillation. The 2D model outputs per-slice logits and multi-scale decoder features. Slice predictions are stacked into a pseudo-volume and refined by Contrastive Gaussian Clustering, which optimizes a continuous 3D Gaussian field using multi-view projection consistency and semantic regularization. The optimized field is voxelized into a dense teacher feature volume and distilled into selected decoder stages through cosine alignment, encouraging through-plane coherence without training a dedicated 3D network. Experimental results show how GaussDINO improves microcrack segmentation by up to +7.7% in microcrack 3D DSC compared to 3D baselines, while maintaining strong lacunae performance. In particular, gains are most evident in DSC and structural continuity for the rare class, whereas boundary accuracy remains the main limitation. Nevertheless, our method shows the best average multiclass performance compared to the selected state-of-the-art methods, reaching 72.12% average DSC performance. Future work will focus on global context injection strategies and domain-adaptive finetuning of the foundation encoder to improve the performance even further.

Segmentare accuratamente strutture sottili e sparse in immagini volumetriche richiede coerenza spaziale lungo la dimensione assiale. Tuttavia, l'utilizzo di tecniche di Deep Learning in 3-Dimensioni (3D) è spesso costoso in termini di memoria e calcolo computazionale, soprattutto su immagini ad alta risoluzione. Questa tesi valuta se sia possibile ottenere segmentazioni 3D-consistenti mantenendo la scalabilità di un approccio 2D. Gli esperimenti sono condotti segmentando lacune e microcricche, microstrutture ossee visualizzabili attraverso immagini di microscopia acquisite al sincrotrone, per le quali un’analisi puramente 2D può introdurre incoerenze spaziali tra slice adiacenti, con ricadute sulle successive analisi morfometriche e biomeccaniche e sull'interpretazione dei meccanismi di danno osseo. Questa tesi propone GaussDINO, un framework ibrido 2D--3D che integra tecniche di apprendimento 2D e strategie di regolarizzazione tramite distillazione. Un modello di U-Net 2D basato su DINOv3 produce segmentazioni per-slice e feature multi-scala. Le predizioni vengono aggregate in uno pseudo-volume e raffinate mediante Contrastive Gaussian Clustering, che ottimizza un campo 3D continuo di Gaussiane imponendo coerenza 3D e regolarizzazione semantica. Il campo ottimizzato viene poi convertito in un volume di feature “teacher” e distillato in stadi selezionati del decoder tramite una funzione di loss, incoraggiando coerenza assiale ma senza ricorrere all'addestramento di una rete 3D dedicata. I risultati mostrano che GaussDINO migliora la segmentazione delle microcricche fino a +7.7% di 3D DSC rispetto alla baseline 3D, mantenendo prestazioni elevate sulle lacune. I benefici sono più evidenti nel DSC e nella continuità strutturale della classe più rara, mentre l’accuratezza ai bordi resta la principale limitazione. Nel complesso, il metodo ottiene la migliore performance media multi-classe tra gli approcci considerati, con un DSC medio del 72.12%. I lavori futuri esploreranno iniezione di contesto globale e fine-tuning dell’encoder pre-addestrato.