The automation of electrical panel assembly requires robotic systems capable of manip- ulating modular components reliably before their final placement on DIN rails. In this context, a component lying flat on a work surface may be difficult to grasp directly, since the gripper can interfere with the table and the available grasping space may be lim- ited. This thesis addresses the issue by focusing on the pre-grasp manipulation phase and proposes a reinforcement-learning-based pushing-for-grasping strategy. The objective is to push an electrical component toward the edge of the table, creating an overhanging configuration suitable for a subsequent side grasp. The proposed framework combines top-view state estimation, simulation-based learning of the pushing strategy and robotic execution. The state is defined by the planar pose of the component, represented by its position and orientation, and is used as input to the actor network. The actor then generates the continuous parameters of the pushing action, which are converted into the points defining the planar trajectory of the pusher. The strategy is trained in MuJoCo using an actor-critic architecture. During training, the critic network predicts how a candidate pushing action modifies the component state. The resulting post-push configuration is then evaluated through an analytical reward func- tion, which favors poses close to a table edge and suitable for grasping, while penalizing ineffective actions or motions that move the component outside the table boundaries. Once trained, the policy is transferred to a real ABB YuMi setup equipped with a Luxonis OAK-D Pro camera. In simulation, the trained critic estimated the reward with an MAE of 0.004899 on the validation set, while the actor achieved a mean reward of 0.919268 out of a maximum value of 1.0 over 200 episodes. In the real experimental campaign, the complete pushing-and-grasping pipeline successfully completed 95 out of 100 valid trials, corresponding to a success rate of 95.0%.

L’automazione dell’assemblaggio dei quadri elettrici richiede sistemi robotici capaci di manipolare in modo affidabile componenti modulari prima del loro posizionamento su guide DIN. Un componente appoggiato orizzontalmente sul tavolo può essere difficile da afferrare direttamente, poiché la pinza può interferire con la superficie di lavoro e lo spazio di presa può essere limitato. Questa tesi affronta il problema proponendo una strategia di spinta finalizzata alla presa basata su apprendimento per rinforzo. L’obiettivo è spin- gere un componente elettrico verso il bordo del tavolo, portandolo in una configurazione parzialmente sporgente dalla superficie di lavoro e quindi adatta a una successiva presa laterale. Il metodo proposto combina l’estrazione dello stato a partire da osservazioni dall’alto, l’apprendimento della strategia di spinta in simulazione e l’esecuzione finale su robot. Lo stato è definito dalla posa planare del componente e viene utilizzato come ingresso della rete attore. Quest’ultima genera i parametri continui dell’azione, successivamente convertiti nei punti della traiettoria planare seguita dall’organo di spinta. La strategia viene addestrata in MuJoCo mediante un’architettura attore-critico. Durante l’addestramento, la rete critica predice come una possibile azione di spinta modifica lo stato del componente. La configurazione ottenuta dopo la spinta viene quindi valutata tramite una funzione analitica di ricompensa, che favorisce pose vicine al bordo del tavolo e adatte alla presa, penalizzando azioni inefficaci o movimenti che portano il componente fuori dai limiti del tavolo. Una volta addestrata, la strategia viene trasferita su un setup reale ABB YuMi dotato di telecamera Luxonis OAK-D Pro. In simulazione, la rete critica ha stimato la ricompensa con un MAE di 0.004899 sul set di validazione, mentre l’attore ha raggiunto una ricom- pensa media di 0.919268 su un valore massimo pari a 1.0 in 200 episodi. Nella campagna sperimentale reale, la sequenza completa di spinta e presa ha completato con successo 95 prove valide su 100.

Robotic reinforcement learning-based pushing-for-grasping

STEINER, MICHAEL
2025/2026

Abstract

The automation of electrical panel assembly requires robotic systems capable of manip- ulating modular components reliably before their final placement on DIN rails. In this context, a component lying flat on a work surface may be difficult to grasp directly, since the gripper can interfere with the table and the available grasping space may be lim- ited. This thesis addresses the issue by focusing on the pre-grasp manipulation phase and proposes a reinforcement-learning-based pushing-for-grasping strategy. The objective is to push an electrical component toward the edge of the table, creating an overhanging configuration suitable for a subsequent side grasp. The proposed framework combines top-view state estimation, simulation-based learning of the pushing strategy and robotic execution. The state is defined by the planar pose of the component, represented by its position and orientation, and is used as input to the actor network. The actor then generates the continuous parameters of the pushing action, which are converted into the points defining the planar trajectory of the pusher. The strategy is trained in MuJoCo using an actor-critic architecture. During training, the critic network predicts how a candidate pushing action modifies the component state. The resulting post-push configuration is then evaluated through an analytical reward func- tion, which favors poses close to a table edge and suitable for grasping, while penalizing ineffective actions or motions that move the component outside the table boundaries. Once trained, the policy is transferred to a real ABB YuMi setup equipped with a Luxonis OAK-D Pro camera. In simulation, the trained critic estimated the reward with an MAE of 0.004899 on the validation set, while the actor achieved a mean reward of 0.919268 out of a maximum value of 1.0 over 200 episodes. In the real experimental campaign, the complete pushing-and-grasping pipeline successfully completed 95 out of 100 valid trials, corresponding to a success rate of 95.0%.
ING - Scuola di Ingegneria Industriale e dell'Informazione
22-lug-2026
2025/2026
L’automazione dell’assemblaggio dei quadri elettrici richiede sistemi robotici capaci di manipolare in modo affidabile componenti modulari prima del loro posizionamento su guide DIN. Un componente appoggiato orizzontalmente sul tavolo può essere difficile da afferrare direttamente, poiché la pinza può interferire con la superficie di lavoro e lo spazio di presa può essere limitato. Questa tesi affronta il problema proponendo una strategia di spinta finalizzata alla presa basata su apprendimento per rinforzo. L’obiettivo è spin- gere un componente elettrico verso il bordo del tavolo, portandolo in una configurazione parzialmente sporgente dalla superficie di lavoro e quindi adatta a una successiva presa laterale. Il metodo proposto combina l’estrazione dello stato a partire da osservazioni dall’alto, l’apprendimento della strategia di spinta in simulazione e l’esecuzione finale su robot. Lo stato è definito dalla posa planare del componente e viene utilizzato come ingresso della rete attore. Quest’ultima genera i parametri continui dell’azione, successivamente convertiti nei punti della traiettoria planare seguita dall’organo di spinta. La strategia viene addestrata in MuJoCo mediante un’architettura attore-critico. Durante l’addestramento, la rete critica predice come una possibile azione di spinta modifica lo stato del componente. La configurazione ottenuta dopo la spinta viene quindi valutata tramite una funzione analitica di ricompensa, che favorisce pose vicine al bordo del tavolo e adatte alla presa, penalizzando azioni inefficaci o movimenti che portano il componente fuori dai limiti del tavolo. Una volta addestrata, la strategia viene trasferita su un setup reale ABB YuMi dotato di telecamera Luxonis OAK-D Pro. In simulazione, la rete critica ha stimato la ricompensa con un MAE di 0.004899 sul set di validazione, mentre l’attore ha raggiunto una ricom- pensa media di 0.919268 su un valore massimo pari a 1.0 in 200 episodi. Nella campagna sperimentale reale, la sequenza completa di spinta e presa ha completato con successo 95 prove valide su 100.
File allegati
File Dimensione Formato  
2026_07_Steiner_Executive_Summary.pdf

accessibile in internet per tutti

Dimensione 14.62 MB
Formato Adobe PDF
14.62 MB Adobe PDF Visualizza/Apri
2026_07_Steiner_Tesi.pdf

accessibile in internet solo dagli utenti autorizzati

Dimensione 40.7 MB
Formato Adobe PDF
40.7 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/261233