Monte Carlo tree search gait planning with model predictive control for non-gaited legged system controller

In this work, a non-gaited framework for legged system locomotion is presented. The approach decouples the gait sequence optimization by considering the problem as a decision-making process. The redefined contact sequence problem is solved by utilizing a Monte Carlo Tree Search (MCTS) algorithm that exploits optimization-based simulations to evaluate the best search direction. The proposed scheme has proven to be considerably less computationally demanding than the state of the art Mixed-Integer Quadratic Programming (MIQP) solver without drastically compromise the solution performance. The gait generated by the MCTS is utilized as input in a model predictive control (MPC) scheme for the ground reaction forces and future footholds position optimization. The simulation results, performed on a quadruped robot, shown that the proposed framework is able to generate known periodic gait as well as adapting the contact sequence to the encountered conditions. The system has also shown its reliability when tested on robots with different limbs layout as well as on terrain with unknown and variable properties.

In questo lavoro viene presentato un framework per la locomozione di sistemi deambulanti. L'approccio disaccoppia l'ottimizzazione della sequenza dei passi, dal resto dell’ottimizzazione considerando il problema come un processo di decision-making. Il problema della sequenza dei passi, cosi ridefinito, viene risolto utilizzando un algoritmo di Monte Carlo Tree Search (MCTS) che sfrutta simulazioni basate sull'ottimizzazione per valutare la migliore direzione di ricerca. Lo schema proposto si è dimostrato notevolmente meno impegnativo, dal punto di vista computazionale, rispetto a soluzioni allo stato dell'arte che utilizzano il MIQP (Mixed-Integer Quadratic Programming) senza però compromettere le prestazioni delle soluzioni. La sequenza generata dall'MCTS viene utilizzata come input in uno framework di controllo basato sul Model Predictive Control (MPC) per calcolare le forze di reazione con il terreno e ottimizzare la posizione futura dei punti di appoggio. I risultati delle simulazioni, eseguite su un robot quadrupede, hanno mostrato che il framework proposto è in grado sia di generare andature periodiche già presenti in natura che di adattare la sequenza dei contatti alle condizioni incontrate. Il sistema ha anche dimostrato la sua affidabilità quando testato su robot con diversi layout degli arti e su terreni con proprietà sconosciute e variabili.