Vision guided reinforcement learning for pouring liquids

The manipulation of liquids is a challenging task for a robot. The high number of degrees of freedom and the chaotic nature of the dynamics involved make the system hard both to perceive and control. Moreover, the task becomes significantly more challenging in unstructured environments, unlike the usually more controlled industrial context, where it is also possible to use machines and sensors built for this specific purpose. In recent years, attention has increased towards the task, as the action of pouring is common in everyday tasks, and having a general purpose robot that is able to reliably execute it could be a great improvement in the field. Model-based control techniques tend to struggle with this task due to the difficulties in modeling the dynamics of the system. More recently, model-free and hybrid methods have seen a significant surge in interest in the scientific community, due to their ability to allow the execution of complex behaviors without the need for explicit modeling. This thesis presents a reinforcement learning based agent for liquid pouring, incorporating an image processing model to highlight the flowing liquid inside the image acquired by a camera. The policy is trained in simulation inside an environment developed on the new Isaac Lab framework for reinforcement learning, which can be expanded for more complex variations of the task. The policy has also been successfully deployed on a real experimental setting.

La manipolazione di liquidi è un'operazione difficile per un robot. L'elevato numero di gradi di libertà e la natura caotica della dinamica del fenomeno rendono il sistema difficile da percepire e da controllare. Inoltre, il compito diventa significativamente più complesso in ambienti non strutturati, a differenza dei contesti industriali, generalmente più controllati, dove è anche possibile usare macchine e sensori costruiti appositamente per lo scopo. In tempi recenti, l'attenzione verso questo tipo di operazione è aumentata, dato che l'azione di versare liquidi è comune in molte attività quotidiane, e avere un robot generico in grado di eseguire questo compito in modo affidabile sarebbe un ottimo passo avanti nel settore. Le tecniche di controllo basate su un modello fanno fatica a eseguire questa operazione a causa delle difficoltà nella modellazione della dinamica del sistema. Recentemente, metodi senza modelli o ibridi hanno assistito a un considerevole incremento di interesse nella comunità scientifica, per via della loro abilità di consentire l'esecuzione di operazioni complesse senza il bisogno di un modello esplicito. Questa tesi presenta un controllore basato sull'apprendimento per rinforzo allo scopo di versare liquidi, incorporando un modello di elaborazione di immagini per individuare il fluido in movimento nell'immagine acquisita da una telecamera. L'agente è addestrato in simulazione dentro un ambiente sviluppato sul nuovo framework Isaac Lab, che può essere espanso per includere varianti più complesse di questa operazione. Il controllore sviluppato è poi stato trasferito con successo sul sistema fisico.