Memory refinement for latent replays in continual learning

The following thesis proposes a dual-memory latent replay approach named Continual Latent Memory Refinement, for memory constrained devices in Continual Learning scenario. Instead of storing raw inputs, our method retains intermediate feature activations, greatly reducing storage and computation costs. We maintain a compact replay buffer with two complementary components: a prototype-based memory refined through Continual Anchor-Regularized Prototype Refinement (CARP-R) and a small buffer of selected latent samples. Class prototypes are initialized by clustering in the latent space and iteratively refined via a hybrid loss that combines classification and a regularization term to preserve semantic consistency. A dual-model architecture is employed, consisting of a main network and an exponential-moving-average (EMA) network that evolves slowly over time, providing a stable semantic reference during prototype optimization. Informative latent samples are additionally selected into the latent buffer to complement the prototypes during replay. The method is evaluated on the CORe50 NICv2-391 benchmark under a fixed replaymemory budget to simulate TinyML constraints. We compared it against the current state-of-the-art latent-replay baseline (AR1*free) using the same MobileNet backbone and identical latent-memory budget (∼ 16.4MB), achieving ∼ +9% test accuracy. These results suggest that memory-efficient latent-replay strategies can enable robust continual adaptation on-device. By refining a compact set of latent memories, the proposed approach offers a promising path toward continual learning in highly resource-constrained settings.

La seguente tesi propone Continual Latent Memory Refinement, un approccio di replay latente a doppia memoria per scenari di Continual Learning su dispositivi con memoria limitata. Invece di memorizzare gli input grezzi, il metodo conserva feature latenti intermedie, riducendo i costi di memoria e computazione. Manteniamo un buffer di replay compatto composto da due elementi complementari: una memoria basata su prototipi, raffinata tramite Continual Anchor-Regularized Prototype Refinement (CARP-R), e un piccolo buffer di campioni latenti selezionati. I prototipi di classe vengono inizializzati tramite clustering nello spazio latente e successivamente aggiornati in modo iterativo mediante una funzione di perdita ibrida che combina la classification loss con un termine di regolarizzazione basato sulla cosine similarity tra il prototipo e un ancora, al fine di preservare la coerenza semantica. L’architettura utilizza due modelli: una rete principale e una rete EMA (Exponential Moving Average) che evolve più lentamente nel tempo, fornendo un riferimento semantico stabile durante l’ottimizzazione dei prototipi. Inoltre, campioni latenti particolarmente informativi vengono selezionati e inseriti in un buffer dedicato, in modo da integrare i prototipi durante il replay. Il metodo è stato valutato sul benchmark CORe50 NICv2-391 con un buffer di replay di dimensione fissa, per simulare vincoli tipici degli scenari TinyML. Il confronto è stato effettuato con l’attuale stato-dell’arte per il replay latente (AR1*free), utilizzando lo stesso modello e lo stesso budget di memoria latente (circa 16.4 MB), ottenendo un ∼ +9% sulla test accuracy. Questi risultati suggeriscono che strategie di replay latente efficienti dal punto di vista della memoria possono rendere possibile un apprendimento continuo robusto. Raffinando un insieme compatto di rappresentazioni latenti, l’approccio proposto rappresenta una soluzione promettente per il continual learning in contesti con risorse estremamente limitate.