Integrating symbolic and motion planning through reinforcement and imitation learning for adaptive robotic manipulation

The advancement of robotics and automation is facing a challenge as the need for robots to operate in dynamic and uncertain environments increases. Traditional robot programming techniques lack of flexibility. Consequently, it is crucial to integrate high-level reasoning and low-level motion control to provide robots with adaptable skills. Symbolic planning generates a sequence of actions that allow agents to achieve different goals in dynamic contexts, while motion control focuses on defining how each action should be actuated. However, motion control often relies on hard-coded behaviours. This thesis deals with such a problem by exploiting Machine Learning (ML) techniques to improve the flexibility of robots in adapting to changes in tasks and environments. Specifically, Reinforcement Learning (RL) and Imitation Learning (IL) techniques are combined to obtain intelligent agents that can autonomously perform pick-and-place tasks while adapting to environmental changes. Both agents and environment are modelled in simulation. In this environment, the robot is instructed about how to perform actions by the operator while maintaining a general approach to enable transferability to various robotic platforms. The system utilizes demonstrations to guide the agents towards learning the desired behaviours, which involves observing the environment in a hybrid symbolic and continuous manner. The learned actions are then transferred to a fully simulated robot, enabling it to perform tasks without requiring human intervention. To validate the learned behaviours, experiments were conducted, verifying that the proposed approach learns the manipulation skills allowing the robot to perform more complex tasks.

La robotica e l’automazione stanno affrontando una sfida sempre maggiore dovuta alla crescente necessità di far operare i robot in ambienti dinamici ed incerti. Le tecniche di programmazione tradizionali sono limitate in termini di flessibilità. Di conseguenza, è fondamentale integrare il ragionamento ad alto livello e il controllo del movimento a basso livello per fornire ai robot competenze adattabili. La pianificazione simbolica genera una sequenza di azioni che consentono agli agenti di raggiungere diversi obiettivi in contesti dinamici, mentre il controllo del movimento si concentra sulla definizione di come ogni azione debba essere attuata. Tuttavia, il controllo del movimento spesso si basa su comportamenti rigidamente codificati. Questa tesi affronta tale problema utilizzando tecniche di apprendimento automatico per migliorare la flessibilità dei robot nell’adattarsi a cambiamenti ambientali e funzionali. In particolare, le tecniche di apprendimento per rinforzo (RL) e di apprendimento per imitazione (IL) sono combinate al fine di ottenere agenti intelligenti in grado di eseguire autonomamente compiti di manipolazione adattandosi ai cambiamenti ambientali. Sia gli agenti che l’ambiente sono modellati in simulazione. In questo ambiente, il robot viene istruito dall’operatore su come eseguire le azioni mantenendo un approccio generale per consentire la trasferibilità verso altre piattaforme robotiche. Il sistema utilizza dimostrazioni per guidare gli agenti verso l’apprendimento dei comportamenti desiderati, il che comporta l’osservazione dell’ambiente in modo sia simbolico che continuo. Le azioni apprese sono quindi trasferite ad un robot completamente simulato, consentendogli di eseguire attività senza richiedere l’intervento umano. Per convalidare i comportamenti appresi, sono stati condotti esperimenti, verificando che l’approccio proposto acquisisce con successo ed efficienza le abilità di manipolazione consentendo al robot di svolgere compiti più complessi.