Real-time gait planning for a quadruped robot using imitation learning

In the field of robotics, one of the current ambitions is to give robots the ability to autonomously decide how to perform a desired task. Providing the robot with this skill proves to be advantageous as it effectively minimizes the knowledge required for users while expanding the range of potential applications for the robot. For this purpose, artificial intelligence plays a central role. One example for this task is programming a quadrupedal robot that can calculate itself an optimal gait for its current position (state). Since legged robots are intended for advanced dynamic capabilities, the robot’s decision about the contact sequence must be made simultaneously with its movements, therefore the ability to find the optimal solution in real-time is required. To the best of the author’s knowledge, an optimal contact sequence could not be calculated in real-time for dynamic applications yet. This thesis presents a method to obtain a gait planning that is suitable for quadruped robots and is executable in real-time. For this purpose, a neural network is used to obtain the gait sequence. The neural network is trained through Imitation Learning using data from Monte Carlo Tree Search (MCTS) algorithm. Specifically, the Supervised Learning approach is adopted in the initial stage. The results are improved by implementing DAGGer algorithm. This work shows that the replacement of the MCTS algorithm with a neural network causes a big gain in terms of computational time without losing significant dynamic performance. With this reduced calculation time, the gait sequence can be calculated in real-time. Furthermore, the proposed solution is able to suit periodic and non-periodic contact sequences.

Nel campo della robotica, una delle ambizioni attuali è conferire ai robot la capacità di prendere autonomamente decisioni su come eseguire un compito desiderato. Dotare il robot di questa abilità si rivela vantaggioso poiché riduce notevolmente la conoscenza richiesta agli utenti e amplia la gamma di possibili applicazioni per il robot. A tale scopo, l’intelligenza artificiale svolge un ruolo centrale. Un esempio è la programmazione di un robot quadrupede in grado di calcolare autonomamente la camminata ottimale da seguire a partire dalla sua posizione attuale (stato). Poiché i robot a gambe sono intesi per capacità dinamiche avanzate, la decisione del robot sulla sequenza di contatto deve avvenire contemporaneamente ai suoi movimenti, richiedendo quindi la capacità di trovare la soluzione ottimale in tempo reale. Allo stato dell’arte, non è ancora possibile calcolare in tempo reale una sequenza di contatto ottimale per applicazioni dinamiche. A fronte di tale limitazione, questa tesi presenta un algoritmo per ottenere una pianificazione della camminata ottimale adatta ai robot quadrupedi ed eseguibile in tempo reale. L’idea proposta è quella di utilizzare una rete neurale per ottenere la successione dei passi. La rete neurale viene addestrata attraverso Imitation Learning utilizzando i dati dell’algoritmo Monte Carlo Tree Search (MCTS). In particolare, nella fase iniziale viene adottato l’approccio Supervised Learning. I risultati vengono in seguito migliorati implementando l’algoritmo DAGGer. Questo lavoro dimostra che la sostituzione dell’algoritmo MCTS con una rete neurale comporta un notevole guadagno in termini di tempo computazionale senza compromettere significativamente le prestazioni dinamiche. Grazie a questo risparmio temporale, la sequenza dei passi può essere calcolata in tempo reale. Inoltre, la soluzione proposta è in grado di adattarsi a sequenze di contatto periodiche e non periodiche.