Continual learning for embodied AI: an empirical study of forgetting and transfer in visual odometry

In the field of embodied AI, as technology continues to evolve, the need for agents to continuously learn and improve performance in changing environments has become crucial. Humans desire agents to possess capabilities for continuous learning and knowledge transfer similar to humans, which are fundamental requirements in the dynamic real world. Hence, it is essential to integrate the learning paradigm of continual learning into traditional embodied AI, an area that still represents a gap in current robotics research. Our study focuses on the visual odometry task, a fundamental aspect of embodied AI, which is indispensable for agents to achieve self-localization in current environments. This study empirically investigates the impact of catastrophic forgetting and the effectiveness of knowledge transfer in neural networks trained continuously in an embodied vision setting. Our training dataset consistently shifts across different indoor scenarios, akin to a robot navigating through different apartments. We observed that the agent exhibited rapid adaptation capabilities and outstanding performance in the current training scenarios at the expense of overall model generalizability, with a decline in performance in both previously encountered and future scenes, indicating a trend toward forgetting general knowledge. Additionally, our experiments revealed that traditional regularization-based continual learning strategies did not mitigate this phenomenon. Furthermore, we incorporated action information into the model, which significantly alleviated the model's forgetting and enhanced knowledge transfer and accelerated the model's training convergence speed, enhancing its overall performance. However, a trade-off between performance in the current training scenario and generalizability still exists. Moreover, we experimented with increasing the model's capacity or altering its architecture, yet these adjustments failed to address the model's forgetting issues in a continual learning context and could not compensate for the performance gains achieved through the inclusion of action information. These findings underscore the challenges of balancing adaptation and memory retention in lifelong robotic technologies and provide valuable insights for the application of a lifelong paradigm to embodied agents.

Nell'ambito dell'intelligenza artificiale embodied, o IA embodied, e della sua evoluzione tecnologica, è fondamentale che gli agenti apprendano in maniera continua e migliorino le proprie prestazioni al variare degli ambienti in cui operano. Desideriamo infatti agenti con proprietà di apprendimento continuo e trasferimento della conoscenza simili a quelle umane, in quanto requisiti fondamentali nella dinamicità del mondo reale. Per questo, è essenziale che il paradigma dell'apprendimento continuo venga integrato all'interno del campo dell'intelligenza artificiale embodied, area della robotica che ancora presenta limitazioni. Questo studio si concentra sul task di odometria visuale, aspetto fondamentale per l'IA embodied e indispensabile per gli agenti nell'ottenere una auto-localizzazione all'interno dell'ambiente in cui si trovano. In particolare, investighiamo empiricamente l'impatto del catastrophic forgetting (oblio catastrofico) e l'efficacia del trasferimento di conoscenza in reti neurali addestrate in maniera continua all'interno di un contesto di visione embodied. Il nostro dataset di addestramento muta periodicamente, passando attraverso diversi scenari indoor, analogamente a un robot che naviga attraversando diversi appartamenti. Osserviamo che il nostro agente mostra capacità di rapido adattamento e raggiunge ottime prestazioni nello scenario di addestramento corrente, a spesa della generalizzabilità complessiva del modello. Questo determina un declino delle prestazioni nelle scene passate e future, indicante un processo di perdita di memoria nel tempo. I nostri esperimenti rivelano che le tecniche tradizionali di mitigazione del catastrophic forgetting basate su metodi di regolarizzazione non sono efficaci a mitigare il problema. L'integrazione di informazioni riguardo all'azione di moto appena eseguita dall'agente allevia invece significativamente il fenomeno del forgetting e migliora il trasferimento di conoscenza, accelera la convergenza dal modello e migliora le sue prestazioni generali. Trovare un punto di incontro tra prestazioni nello scenario attuale e generalizzabilità è ancora possibile. Sperimentiamo inoltre incrementando la capacità del modello e modificando la sua architettura. Registriamo che tali modifiche non sono sufficienti a risolvere i problemi di catastrophic forgetting riportati, e al tempo stesso non riescono a compensare i miglioramenti di prestazioni ottenuti includendo informazioni sull'azione appena eseguita. Questi risultati sottolineano le difficoltà presenti nel bilanciare adattabilità e conservazione della memoria in scenari di apprendimento continuo nel mondo reale, e forniscono preziosi spunti per l'applicazione di sistemi di apprendimento continuo in campo di intelligenza embodied.