Curriculum reinforcement learning for LiDAR-based navigation: a simulation-validated sim-to-real pipeline

Reinforcement learning can learn mobile-robot navigation directly from sensor data, but policies trained in simulation must contend with the reality gap. This thesis extends a previously validated lightweight sim-to-real pipeline (a PPO policy trained in simulation with a minimal observation and no domain randomization, deployed zero-shot on a real differential-drive robot) from obstacle-free, odometry-based navigation to obstacle-rich navigation driven by a 360° planar LiDAR. The task is learned with a four-phase curriculum that introduces obstacles one at a time; the policy reads a compact 44-dimensional observation and outputs continuous velocity commands mapped directly onto the robot's ROS2 interface. An earlier single-phase design stalled near 60% goal-reaching on the full task; redesigned around a 360° LiDAR observation and trained with a four-phase curriculum, the policy reaches above 97% on the training distribution and 96.3% (Wilson 95% lower bound 89.5%; success scored against a point-robot collision metric, re-scored to the platform hull in Section 6.2) on held-out randomized stress tests. Because the surround-LiDAR observation and the curriculum were introduced together, with no single-phase run under the final observation, the curriculum's isolated contribution to this gain is not measured. A random-action baseline, a randomization audit, and a reward decomposition confirm the competence is genuine, while near-wall and narrow-corridor tests show it generalizes geometrically. The work is carried out entirely in simulation: the policy is integration-validated in an Isaac Sim 5.1 ROS2-in-the-loop closed loop on the model of the target platform, exchanging the exact interfaces intended for deployment. Real-robot deployment is left as future work, since the underlying lightweight approach was already shown to reach hardware in the prior work.

L'apprendimento per rinforzo permette di apprendere la navigazione di un robot mobile direttamente dai dati sensoriali, ma le politiche addestrate in simulazione devono fare i conti con il divario tra simulazione e realtà (reality gap). Questa tesi estende una pipeline sim-to-real leggera già validata (una politica PPO addestrata in simulazione con un'osservazione minimale e senza domain randomization, trasferita zero-shot su un robot reale a guida differenziale) dalla navigazione in spazio libero da ostacoli, basata sull'odometria alla navigazione in ambienti con ostacoli, guidata da un LiDAR planare a 360°. Il compito è appreso con un curriculum a quattro fasi che introduce gli ostacoli uno alla volta; la politica riceve un'osservazione compatta a 44 dimensioni e produce comandi di velocità continui mappati direttamente sull'interfaccia ROS2 del robot. Un precedente progetto a fase singola si era arrestato attorno al 60% di raggiungimento dell'obiettivo sul compito completo; riprogettata attorno a un'osservazione LiDAR a 360° e addestrata con un curriculum a quattro fasi, la politica supera il 97% sulla distribuzione di addestramento e raggiunge il 96.3% (limite inferiore di Wilson al 95% pari all'89.5%; il successo è valutato rispetto a una metrica di collisione a robot puntiforme, rivalutata rispetto all'ingombro della piattaforma nella Sezione 6.2) su test di stress randomizzati tenuti da parte. Poiché l'osservazione LiDAR a copertura completa e il curriculum sono stati introdotti insieme, senza alcuna esecuzione a fase singola con l'osservazione finale, il contributo isolato del curriculum a questo miglioramento non è misurato. Una politica di riferimento ad azioni casuali, un audit della randomizzazione e una decomposizione della ricompensa confermano che la competenza è genuina, mentre i test in prossimità delle pareti e nei corridoi stretti mostrano che essa generalizza dal punto di vista geometrico. Il lavoro è svolto interamente in simulazione: la politica è validata a livello di integrazione in un ciclo chiuso ROS2-in-the-loop in Isaac Sim 5.1, sul modello della piattaforma target, scambiando esattamente le interfacce previste per il deployment. Il dispiegamento su robot reale è lasciato a lavoro futuro, poiché l'approccio leggero sottostante era già stato dimostrato capace di raggiungere l'hardware nel lavoro precedente.