Control of a vibrating table for objects singulation through deep reinforcement learning

In automation there is a growing need for feeding devices capable of separating and isolating objects to facilitate easy pick-up by a robot. This study proposes the design and construction of a vibrating table for objects singulation. The novelty introduced is the use of a Reinforcement Learning algorithm, specifically the Deep Deterministic Policy Gradient (DDPG) algorithm, as the control strategy for the vibrating device. The DDPG agent is trained to separate small objects (nuts in our experimentation) randomly placed on the vibrating table. In this work, we have also implemented an efficient image processing technique. From the images of the nuts on the vibrating table, we derive the coordinates of the centers of the nuts. These coordinates can then be used to derive the state observation of the system. The DDPG agent uses this observation to determine the optimal control actions that enable the separation of the nuts. After a well-designed training process, the DDPG agent is capable of separating the nuts placed on the vibrating table in a single attempt. Furthermore, we test the trained agent using various quantities of nuts placed on the vibrating table. In all the tested situations, the trained DDPG agent is able to separate the nuts in a single attempt. This underlines the potential for the application of Reinforcement Learning algorithms as control strategies of vibrating system for objects singulation.

Nel settore dell’automazione si avverte un bisogno sempre crescente di sviluppare dispositivi capaci di separare e isolare oggetti, al fine di agevolarne la presa da parte di un robot. In questo studio si propone la progettazione e la costruzione di una tavola vibrante per la separazione di oggetti. La novità introdotta è l’utilizzo di un algoritmo di Reinforcement Learning, precisamente l’algoritmo Deep Deterministic Policy Gradient (DDPG), come strategia di controllo per il dispositivo vibrante. L’agente DDPG viene addestrato a separare piccoli oggetti (dadi meccanici in questo studio) posizionati casualmente sulla tavola vibrante. In questo lavoro, viene anche implementata una efficiente tecnica di elaborazione di immagini. Tramite cui, dalle immagini dei dadi sulla tavola vibrante, è possibile derivare le coordinate dei centri dei dadi. Queste coordinate vengono poi utilizzate per determinare l’osservazione dello stato del sistema. L’agente DDPG utilizza questa osservazione per identificare le azioni di controllo ottimali che consentono la separazione dei dadi. Dopo un processo di addestramento ben progettato, l’agente DDPG è in grado di separare i dadi posizionati sulla tavola vibrante in un solo tentativo. Inoltre, l’agente addestrato viene testato utilizzando varie quantità di dadi. In tutte le situazioni provate, l’agente DDPG è in grado di separare i dadi in un solo tentativo. Questo evidenzia il potenziale dell’applicazione di algoritmi di Reinforcement Learning come strategie di controllo di sistemi vibranti per la separazione di oggetti.