The perception and autonomous manipulation of clothes by robots is an ongoing research topic that is attracting a lot of contributions. Automating the handling of laundry using a single-arm robot is considerd in this thesis, which involves three main tasks. Two of them are the loading and unloading a washing machine while the third one is using reinforcement learning to flatten and fold a piece of cloth. Customized approaches for finding a grasping point for the robot are presented which utilized computer vision. Color-based segmentation using active contours was used to extract grasping points and pre-defined weights determined the optimum one for the loading process. Surface analysis was used with point cloud to identify wrinkles present in the clothes for picking a grasping point for the unloading process. Machine learning was used to detect any items left inside the drum to verify completion of the unloading process. A modular framework is created to account for the sub-problems associated with the full process. Pre-set poses and path segments were used to create a motion plan for the robot in Cartesian space. ROS, depth and 2D cameras and Doosan robot were used for experiments.

La percezione e la manipolazione autonoma dei vestiti da parte dei robot è un tema di ricerca in corso che sta attirando molti contributi. In questa tesi viene presa in considerazione l'automazione della manipolazione del bucato con un robot a braccio singolo, che prevede tre compiti principali. Due di questi sono il carico e lo scarico di una lavatrice, mentre il terzo è l'utilizzo dell'apprendimento rinforzato per appiattire e piegare un pezzo di stoffa. Sono stati presentati approcci personalizzati per trovare un punto di presa per il robot, utilizzando la computer vision. Per estrarre i punti di presa è stata utilizzata una segmentazione basata sui colori che utilizza contorni attivi, mentre pesi predefiniti hanno determinato quello ottimale per il processo di caricamento. L'analisi della superficie è stata utilizzata con la nuvola di punti per identificare le rughe presenti nei vestiti e scegliere il punto di presa per il processo di scarico. L'apprendimento automatico è stato utilizzato per rilevare eventuali oggetti rimasti all'interno del tamburo per verificare il completamento del processo di scarico. È stata creata una struttura modulare per tenere conto dei sottoproblemi associati all'intero processo. Sono state utilizzate pose e segmenti di percorso preimpostati per creare un piano di movimento per il robot nello spazio cartesiano. Per gli esperimenti sono stati utilizzati ROS, telecamere di profondità e 2D e il robot Doosan.

Robotic handling of laundry

Elhanash, Hassan Mahmoud Shehawy
2022/2023

Abstract

The perception and autonomous manipulation of clothes by robots is an ongoing research topic that is attracting a lot of contributions. Automating the handling of laundry using a single-arm robot is considerd in this thesis, which involves three main tasks. Two of them are the loading and unloading a washing machine while the third one is using reinforcement learning to flatten and fold a piece of cloth. Customized approaches for finding a grasping point for the robot are presented which utilized computer vision. Color-based segmentation using active contours was used to extract grasping points and pre-defined weights determined the optimum one for the loading process. Surface analysis was used with point cloud to identify wrinkles present in the clothes for picking a grasping point for the unloading process. Machine learning was used to detect any items left inside the drum to verify completion of the unloading process. A modular framework is created to account for the sub-problems associated with the full process. Pre-set poses and path segments were used to create a motion plan for the robot in Cartesian space. ROS, depth and 2D cameras and Doosan robot were used for experiments.
PIRODDI, LUIGI
ZANCHETTIN, ANDREA MARIA
11-set-2023
La percezione e la manipolazione autonoma dei vestiti da parte dei robot è un tema di ricerca in corso che sta attirando molti contributi. In questa tesi viene presa in considerazione l'automazione della manipolazione del bucato con un robot a braccio singolo, che prevede tre compiti principali. Due di questi sono il carico e lo scarico di una lavatrice, mentre il terzo è l'utilizzo dell'apprendimento rinforzato per appiattire e piegare un pezzo di stoffa. Sono stati presentati approcci personalizzati per trovare un punto di presa per il robot, utilizzando la computer vision. Per estrarre i punti di presa è stata utilizzata una segmentazione basata sui colori che utilizza contorni attivi, mentre pesi predefiniti hanno determinato quello ottimale per il processo di caricamento. L'analisi della superficie è stata utilizzata con la nuvola di punti per identificare le rughe presenti nei vestiti e scegliere il punto di presa per il processo di scarico. L'apprendimento automatico è stato utilizzato per rilevare eventuali oggetti rimasti all'interno del tamburo per verificare il completamento del processo di scarico. È stata creata una struttura modulare per tenere conto dei sottoproblemi associati all'intero processo. Sono state utilizzate pose e segmenti di percorso preimpostati per creare un piano di movimento per il robot nello spazio cartesiano. Per gli esperimenti sono stati utilizzati ROS, telecamere di profondità e 2D e il robot Doosan.
File allegati
File Dimensione Formato  
2023_09_PhD_Elhanash.pdf

solo utenti autorizzati a partire dal 01/09/2026

Descrizione: Doctoral Thesis
Dimensione 29.03 MB
Formato Adobe PDF
29.03 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/208040