Hardware Accelerated Simulators for Humanoid Robot Codesign via Deep Reinforcement Learning

Robot hardware design is often treated as an immutable component in the development of a control strategy. Moreover, the complexity of the control systems and the computational effort required by certain robot maneuvers, make the control design challenging, with potential limitation on the adaptability to new scenarios. In order to maximize the performance with respect to a given task, designing the robot body characteristics together with its control systems in an extensive approach, often referred to as codesign, is a promising solution. The use of reinforcement learning as control system is another valid methodology. Yet, it has not been extensively applied to humanoid robotics in a codesign context. Nevertheless, the simulation required during the generation of synthetic data in reinforcement learning phase is computationally expensive, hence it emerges the need for an architecture that allows to speed up the simulation, involving the use of hardware accelerations via simulators that exploit the use of Graphical Processing Units (GPUs) and Tensor Processing Units (TPUs). This thesis aims at targeting the problem of a synergic design of robots and their control systems. In particular, we focus on the optimization of the electric drives characteristics, which is often crucial in the field of humanoid robotics. To this aim, we first develop an algorithm able to compute the robot dynamics taking into account the presence of the motors, with their gear ratio, inertia and internal friction. Then, we introduce a framework that combines deep reinforcement learning and evolutionary algorithms for the robot codesign, supported by hardware acceleration. Finally, we show that the proposed architecture is able to generate a motor set capable of maximizing the performance of the robot in a simple, yet easily scalable task.

La progettazione hardware dei robot è spesso considerata come un componente immutabile nello sviluppo di una architettura di controllo. Inoltre, la complessità dei sistemi di controllo e lo sforzo computazionale richiesto da certi task rendono la progettazione onerosa, con potenziali limitazioni nell’adattabilità a nuovi scenari. Una soluzione promettente al fine di massimizzare le prestazioni rispetto a un dato compito consiste nella progettazione delle caratteristiche morfologiche dei robot insieme ai loro sistemi di controllo in un approccio estensivo, spesso denominato codesign. Inoltre, una valida metodologia che non è stata ancora ampiamente applicata alla robotica umanoide in un contesto di codesign è l’uso del reinforcement learning come sistema di controllo. Tuttavia, la simulazione richiesta durante la generazione di dati sintetici nella fase di reinforcement learning è computazionalmente costosa, pertanto emerge la necessità di un’architettura che consenta di velocizzare la simulazione, coinvolgendo l’uso di accelerazioni hardware tramite simulatori che sfruttano le Unità di Elaborazione Grafica (GPU) e le Unità di Elaborazione Tensoriale (TPU). Questa tesi si propone di affrontare il problema del design sinergico di robot e dei loro sistemi di controllo. In particolare, ci concentriamo sull’ottimizzazione delle caratteristiche dei motori elettrici, che sono spesso degli elementi cruciali nel campo della robotica umanoide. A tale scopo, sviluppiamo innanzitutto un algoritmo in grado di calcolare la dinamica del robot tenendo conto della presenza dei motori, con il loro rapporto di trasmissione, inerzia e attrito interno. Successivamente, introduciamo un framework per il codesign di robot che combina l’apprendimento per rinforzo con algoritmi genetici, supportato da accelerazione hardware. Infine, dimostriamo che l’architettura proposta è in grado di generare un insieme di motori in grado di massimizzare le prestazioni del robot per un compito semplice, ma facilmente scalabile.