From 3D to 4D: Elevating Gaussian Splatting with LiDAR Velocity Data

This thesis explores the enhancement of 3D Gaussian Splatting through the integration of 4D LiDAR data, focusing on dynamic scene reconstruction. Traditional 3D reconstruction methods often struggle with dynamic environments due to the static nature of the data they typically process. By incorporating velocity data from 4D LiDAR, this research aims to significantly improve the reconstruction accuracy and realism of both static and dynamic components within complex scenes. The methodological innovation introduced in this thesis involves modifying the 3D Gaussian Splatting process to utilize the temporal and spatial data provided by 4D LiDAR. This integration allows for a more nuanced capture of scene dynamics, enhancing the model’s ability to handle urban environments with varying conditions such as day and night scenes and dense traffic scenarios. The improved model demonstrates an increase in the fidelity of reconstructions, providing more detailed and accurate representations of moving objects while maintaining the integrity of static backgrounds. Experimental results show that the proposed method not only advances the state of the art in dynamic scene reconstruction but also opens new avenues for applications in fields requiring high fidelity 3D environmental models, such as autonomous driving, augmented reality, and urban planning.

Questa tesi esplora il miglioramento dello 3D Gaussian Splatting attraverso l'integrazione dei dati LiDAR 4D, concentrandosi sulla ricostruzione di scene dinamiche. I metodi tradizionali di ricostruzione 3D spesso faticano con ambienti dinamici a causa della natura statica dei dati che tipicamente elaborano. Incorporando i dati di velocità dal LiDAR 4D, questa ricerca mira a migliorare significativamente l'accuratezza e il realismo della ricostruzione dei componenti statici e dinamici all'interno di scene complesse. L'innovazione metodologica introdotta in questa tesi consiste nel modificare il processo di 3D Gaussian Splatting per utilizzare i dati temporali e spaziali forniti dal LiDAR 4D. Questa integrazione consente di catturare in modo più dettagliato le dinamiche nella scena, potenziando la capacità del modello di gestire ambienti urbani con condizioni variabili come scene diurne e notturne e scenari di traffico intenso. Il modello migliorato dimostra un notevole incremento nella fedeltà delle ricostruzioni, fornendo rappresentazioni più dettagliate e accurate degli oggetti in movimento mentre mantiene l'integrità degli sfondi statici. I risultati sperimentali mostrano che il metodo proposto non solo avanza lo stato dell'arte nella ricostruzione di scene dinamiche ma apre anche nuove vie per applicazioni in campi che richiedono modelli ambientali 3D ad alta fedeltà, come la guida autonoma, la realtà aumentata e la pianificazione urbana.