Applying rule-based controllers and reinforcement learning to control a general purpose robot: the Air Hockey challenge case

Closing the reality gap generated by hardware limitations, physical constraints and uncertainty of dynamics and sensors, represents a challenging task in modern days highly dynamic robotic environments. Air hockey is an example of this type of environments, since it is a game composed of different tasks requiring fast planning and immediate reaction to environmental changes. It this thesis, it will be shown how to design a policy for a general purpose robot, in order to make it play a complete air hockey game. A combination of a rule-based approach and reinforcement learning will be used to train the developed agent in executing specific tasks of air hockey, such as: hitting, defending and preparing. Finally, all the trained tasks will be combined in a hierarchical agent, deployed on a simulated robot to let it play a complete game against an opponent, while trying to avoid constraints violations.

Colmare il cosiddetto reality gap, generato da limitazioni di hardware, limiti fisici ed in- certezze dovute sia alla dinamica dell’ambiente che al rumore proveniente dai sensori, rappresenta una grande sfida per i manipolatori robotici che operano in contesti ad alta dinamicità. L’Air Hockey rappresenta un esempio di questo tipo di ambienti, poichè si tratta di un gioco composto da task diversi che richiedono un’elevata capacità di pianificazione e un’immediata reazione ai rapidi cambiamenti ambientali. In questa tesi verrà mostrato come modellare una politica per un robot generico, non ideato per risolvere un task specifico; in particolare verrà utilizzato un manipolatore a 7 gradi libertà. L’obiettivo finale sarà quello di sviluppare un agente in grado di partecipare ad una partita completa di Air Hockey. Una combinazioni di politiche a regole e reinforcement learning verrà utilizzata per addestrare l’agente sviluppato, in modo da permettergli di eseguire compiti specifici tipici di una partita di Air Hockey, come: colpire il disco, difendere la porta da un attacco, riposizionare il disco. Successivamente, tutte le singole funzioni allenate saranno combinate all’interno di un agente gerarchico, per poi essere integrate in un ambiente simulato al fine di testare il robot, in modo da permettergli di giocare una partita completa contro un agente di default, il tutto tentando di violare il minor numero di vincoli strutturali e di gioco possibili.