Research on terrain perception for exoskeleton robot

The perception of complex field scenes is an important function for exoskeleton robots to perform field operations. At present, most of the exoskeleton robots applications are completing specific functions in priori or simple scenes. It is difficult to complete human-computer interaction applications in unknown complex scenes, since one important reason is the lack of general autonomous terrain perception ability. How to improve this ability so as to expand the human-computer interaction application of exoskeleton, is a research direction. This thesis studies on the individual lower limb exoskeleton robot working in complex field scenes. It is difficult for users to judge whether certain scenes are safe and traversable only through human experience. If equipped with binocular cameras that are easily mounted on mobile devices, quantitative terrain information can be obtained by computer vision algorithms. Based on this, this study mainly does the following work. For the depth information acquisition, the disparity map is estimated first based on binocular images, and then the 3D point cloud of the front terrain model is established. Considering the matching effect and time efficiency, the Semi-global Matching algorithm is used and improved. In cost calculation stage, the penalty coefficient is set based on texture information, and the optimal cost aggregation path and disparity search space are explored. In disparity correction stage, the disparity is filled and several filtering methods. Improved method performs better matching effect. Then, various methods are used to optimize the terrain model. For the forward terrain perception, the perception problem is defined as determining the traversability and estimating geometric parameters. For the traversable region identification, a method based on improved region growing algorithm and geometric constraints is proposed. For the identification of obstacles, a method based on point cloud clustering and bounding box algorithm is proposed. In order to verify the effectiveness and universality of the proposed methods, the terrain perception experiment is carried out to collect data and do experiment in various scenarios. Visual perception results provide users with the basis for subsequent subjective decisions and controller parameters calculation, thus provide solutions for human-computer interaction. The research activity reported in this thesis has been carried out under the supervision of Professor Shaoping Wang at Beihang University within the framework of the double Ms.c. degree programme in Electrical Engineering between Beihang University and Politecnico di Milano.

La percezione di scene di campo complesse è una funzione importante per i robot di esoscheletro per eseguire operazioni sul campo. Al momento, la maggior parte delle applicazioni di robot di esoscheletro sta completando funzioni specifiche in priori o scene semplici. È difficile completare le applicazioni di interazione umana-computer in scene complesse sconosciute, poiché una ragione importante è la mancanza di capacità generale di percezione del terreno autonomo. Come migliorare questa capacità in modo da espandere l'applicazione di interazione umana-computer di esoscheletro, è una direzione di ricerca. Questo documento studia il robot di esoscheletro dell'arto inferiore che lavora in scene di campo complesse. È difficile per gli utenti giudicare se determinate scene sono sicure e attraversabili solo attraverso l'esperienza umana. Se dotati di telecamere binoculari che sono facilmente montate su dispositivi mobili, le informazioni quantitative del terreno possono essere ottenute da algoritmi di visione artificiale. Sulla base di questo, questo studio svolge principalmente il seguente lavoro. Per l'acquisizione delle informazioni di profondità, la mappa della disparità viene stimata prima in base alle immagini binoculari, quindi viene stabilita la nuvola di punti 3D del modello del terreno anteriore. Considerando l'effetto di abbinamento e l'efficienza del tempo, viene utilizzato e migliorato l'algoritmo di abbinamento semi-globale. Nella fase di calcolo dei costi, il coefficiente di penalità è impostato in base alle informazioni sulla trama e vengono esplorati il percorso di aggregazione dei costi ottimale e lo spazio di ricerca della disparità. Nella fase di correzione della disparità, la disparità viene colmata e diversi metodi di filtraggio. Il metodo migliorato esegue un migliore effetto di abbinamento. Quindi, vari metodi vengono utilizzati per ottimizzare il modello del terreno. Per la percezione del terreno in avanti, il problema della percezione è definito come determinazione della traversabilità e stimare i parametri geometrici. Per l'identificazione della regione attraversabile, viene proposto un metodo basato su algoritmo di coltivazione della regione migliorato e vincoli geometrici. Per l'identificazione di ostacoli, viene proposto un metodo basato sul clustering di cloud point e sull'algoritmo della scatola di delimitazione. Al fine di verificare l'efficacia e l'universalità dei metodi proposti, l'esperimento di percezione del terreno viene condotto per raccogliere dati e fare esperimento in vari scenari. I risultati della percezione visiva forniscono agli utenti la base per le successive decisioni soggettive e calcoli dei parametri del controller, forniscono quindi soluzioni per l'interazione da uomo-computer. L'attività di ricerca riportata in questa tesi è stata svolta sotto la supervisione della Professoressa Shaoping Wang presso l’Università Beihang nell'ambito del programma di doppia laurea magistrale in Ingegneria Elettrica tra l’Università Beihang e il Politecnico di Milano.