Walking motion generation in bio inspired hexapod robot using reinforcement learning

Over the last decades, space exploration has become a scientific research milestone and it holds a prominent position in many space agencies' road-maps. Hitherto, space exploration missions has involved only wheeled locomotion systems. However, due to wheeled locomotion limits, this trend could be replaced soon by legged robots, the gait generation of which has become an important research topic in recent years. This aspect is much more important in space, where direct control is very limited by large delays or even impossible. Therefore, this thesis aims to lay the foundations for a space exploration hexapod robot that is capable of autonomous navigation and, in order to enable its adaptability behaviour to environment change, it is equipped with a deep reinforcement learning agent. In the following chapters, a bio-inspired hexapod robot, called Boogie, and its adaptive locomotion controller are presented. Initially, the robot architecture is derived from biomimetic considerations with the aim to grant omnidirectional walking and augmented movement flexibility. Then, the artificial Central Pattern Generator (CPG) used to generate the robot locomotion is introduced. It is based on real neurobiological control systems and it has two layers: the first layer produces the three more common locomotion patterns, tuning the hexapod interlimb coordination. The second layer is the one that directly guarantees the robot adaptability by controlling each limb behaviour. The adaptability is enabled by a reinforcement learning (RL) algorithm that tunes the CPG parameters. Finally, in order to validate the proposed controller and verify its effectiveness, a walking simulation has been performed in Simulink Simscape Multibody™.

Negli ultimi decenni, l'esplorazione spaziale è diventata una pietra miliare della ricerca scientifica e attualmente ricopre una posizione rilevante nelle tabelle di marcia di molte agenzie spaziali. Fino ad ora, nelle missioni di esplorazione spaziale sono stati adoperati solamente sistemi a ruote. Questa tendenza, però, a causa dei limiti del movimento su ruote, potrebbe presto essere sostituita dai robot a zampe, per i quali negli ultimi anni la ricerca scientifica si è concentrata sulla generazione della camminata. Questo aspetto è ancora più importante nello spazio, dove un controllo diretto è reso arduo, se non addirittura impossibile, dai ritardi di comunicazione. A tal proposito, questa tesi si propone di porre le basi per un robot per l'esplorazione spaziale in grado di attuare una navigazione in maniera autonoma e che è controllato da un algoritmo di deep reinforcement learning che possa permettergli di adattarsi alle variazioni dell'ambiente. Nei prossimi capitoli verranno presentati un robot esapode bio-ispirato, chiamato Boogie, e il controllo adattivo utilizzato per la generazione del suo movimento. Per prima cosa, l'architettura del robot è stata definita attraverso considerazioni biomimetiche volte a garantirgli un'aumentata flessibilità di movimento e la possibilità di camminare in ogni direzione. Successivamente viene introdotto il Central Pattern Generator (CPG) artificiale utilizzato per generare la camminata del robot. Questo CPG trae spunto dai veri sistemi di controllo neurobiologici ed è composto da due strutture: la prima è in grado di regolare la coordinazione delle gambe in modo da produrre i tre tipi di camminata esapode più comune; la seconda, invece, si occupa di garantire l'adattabilità del robot modificando il comportamento delle singole zampe. Questa adattabilità è ottenuta tramite un algoritmo di reinforcement learning (RL) che modifica i parametri del CPG. Infine, per validare il sistema di controllo proposto e verificare la sua efficacia, una camminata è stata simulata in Simulink Simscape Multibody™.