Advancing behavioral compression in unsupervised reinforcement learning

The high dimensionality and redundancy of the parameter space in Deep Reinforcement Learning (DRL) present significant obstacles to efficient policy optimization and exploration. This thesis explores a novel unsupervised framework that decouples behavioral discovery from task-specific optimization by identifying and compressing the underlying behavioral manifold of an agent acting in an environment. The methodology consists of a three-stage pipeline. First, we derive an information-theoretic uniqueness metric to curate a diverse population of unsupervised policies. Second, we employ an Autoencoder architecture to map the high-dimensional parameter space into a compact latent representation. To ensure the latent geometry reflects behavioral similarity, the model is trained using a mixture-occupancy matching objective to align global state-visitation distributions. Finally, we perform task-specific optimization within the learned manifold using Policy Gradient with Parameter-based Exploration (PGPE). Empirical evaluations across classical control and MuJoCo robotic benchmarks demonstrate that the proposed framework achieves superior sample efficiency and optimization stability compared to standard DRL baselines. Our results show that the learned manifolds are topologically smooth and largely invariant to the size of the underlying policy networks. However, while the manifold provides a robust search space, its performance is ultimately bounded by the behavioral support of the initial dataset of policies. This work provides a foundation for more efficient task adaptation by shifting the focus from redundant parameters to meaningful behavioral representations.

L’elevata dimensionalità e la ridondanza dello spazio dei parametri nel Deep Reinforcement Learning (DRL) rappresentano i principali ostacli all’esplorazione e all’ottimizzazione delle policy. Questa tesi propone ed esplora un framework volto a separare la fase di scoperta dei comportamenti dalla loro ottimizzazione specifica, attraverso l'identificazione e la compressione della "varietà comportamentale" (behavioral manifold) di un agente. La metodologia si articola in tre fasi. Inizialmente, viene definita una metrica di unicità per filtrare una vasta popolazione di policy generate indipendentemente dall'ambiente. Successivamente, un’Autoencoder viene utilizzato per mappare lo spazio dei parametri in una rappresentazione latente più compatta. Al fine di garantire che la geometria latente rifletta la similarità dei comportamenti, il modello viene addestrato tramite una funzione obiettivo di matching dell'occupazione degli stati (state occupancy matching), utilizzando un approccio differenziabile basato su importance sampling. Infine, l'ottimizzazione del task specifico viene condotta nello spazio latente tramite l'algoritmo Policy Gradient with Parameter-based Exploration (PGPE). Le valutazioni empiriche su benchmark di controllo classico e simulazioni MuJoCo dimostrano che il framework proposto garantisce una stabilità e un'efficienza campionaria (sample efficiency) superiore rispetto a diverse baseline DRL standard. I risultati indicano che i manifold appresi sono topologicamente regolari e invarianti rispetto alla dimensione delle reti neurali utilizzate. Viene tuttavia evidenziato un effetto di "latent smoothing": sebbene il manifold offra uno spazio di ricerca utile, le prestazioni finali risultano vincolate dal repertorio dei comportamenti scoperto nella fase iniziale. Questa tesi pone le basi per un'ottimizzazione delle policy più efficiente, spostando il focus dai parametri ridondanti a rappresentazioni comportamentali più strutturate.