A novel pipeline for 3D Gaussian splatting: bridging path tracing and real-time radiance fields

Novel View Synthesis (NVS) techniques, such as 3D Gaussian Splatting (3DGS), typically rely on Structure-from-Motion (SfM) to generate the initial sparse point cloud required for training. However, SfM often fails to reconstruct textureless or flat surfaces, resulting in sparse geometry and visual artifacts. This thesis introduces a custom synthetic data generation pipeline that bypasses SfM entirely by decoupling geometric and photometric acquisition. We developed a Vulkan-based Path Tracing Engine that utilizes a Toroidal Sensor to capture omnidirectional data. Leveraging the torus’s variable Gaussian curvature, we generate a dense, ground-truth point cloud that serves as an optimal initialization state for the 3DGS model. We investigate various surface sampling strategies, demonstrating that Adaptive Importance Sampling significantly outperforms uniform methods by concentrating data on valid geometry. Experimental results on complex environments show that our pipeline not only eliminates the need for Adaptive Density Control but also achieves superior reconstruction quality compared to standard SfM-based initializations.

Le tecniche di Novel View Synthesis (NVS), come il 3D Gaussian Splatting (3DGS), si basano tipicamente sulla Structure-from-Motion (SfM) per generare la nuvola di punti sparsa iniziale necessaria per l’addestramento. Tuttavia, la SfM spesso non riesce a ricostruire superfici piatte o prive di texture, producendo geometrie sparse e artefatti visivi. Questa tesi introduce una pipeline personalizzata per la generazione di dati sintetici che aggira completamente la SfM, disaccoppiando l’acquisizione geometrica da quella fotometrica. È stato sviluppato un motore di Path Tracing basato su Vulkan che utilizza un sensore toroidale per catturare dati omnidirezionali. Sfruttando la curvatura gaussiana variabile del toro, viene generata una densa nuvola di punti che funge da stato di inizializzazione ottimale per il modello 3DGS. Vengono esaminate diverse strategie di campionamento della superficie, dimostrando che l’Adaptive Importance Sampling supera significativamente i metodi uniformi concentrando i dati sulla geometria valida. I risultati sperimentali condotti su ambienti complessi mostrano che la nostra pipeline non solo elimina la necessità dell’Adaptive Density Control, ma raggiunge anche una qualità di ricostruzione superiore rispetto alle inizializzazioni standard basate su SfM.