Perception tools for collaborative and autonomous pruning for bi-manipulator robot in table grape vineyards

Robots have found extensive applications in various domains, including social and industrial settings. However, the agricultural sector is still in the early stages of incorporating robotics, facing unique challenges and specialized requirements. Recognizing the potential, initiatives like the CANOPIES project by the European Union aim to tackle precision viticulture challenges and contribute to the development of robotics in agriculture. The project’s ultimate goal is to enable agricultural personnel and robots to collaborate on a variety of agronomic activities, such as harvesting and pruning of table grape vineyards. This challenge exhibits a multiplicity of complex areas including control, human-robot interaction, computer vision, and mechanics. To address these challenges, the project’s objectives are being pursued through the development and implementation of a collaborative bi-manipulator robot, designed and optimized by multiple European universities. This Master’s Thesis addresses the problem of perception in the pruning procedure, aiming to contribute to theCANOPIES project. Through collaboration with experienced agronomists over the course of approximately one year, innovative instruments integrating classical and reliable computer vision methodologies have been developed. These tools enable the robot to successfully complete the pruning task and cover essential aspects of robotics in table grape vineyards, including autonomous vineyard software, vine segmentation, trellis wire reconstruction, and pruning point identification. The developed solution has undergone rigorous development and testing using data from Aprilia’s field (Italy) and a lab mock-up setup. After conducting field evaluations, the vineyard software system has shown promising outcomes. The vine segmentation demonstrates satisfactory performance, while the F1-scores for trellis wire and bud detection reach 88.3% and 66.8% respectively. Consequently, the solution effectively fulfills the requirements set by the CANOPIES project.

robot hanno trovato ampie applicazioni in vari ambiti, compresi quelli sociali e industriali. Tuttavia, il settore agricolo è ancora agli inizi dell’incorporazione della robotica, dovendo affrontare sfide uniche e requisiti specializzati. Riconoscendo il potenziale, iniziative come il progetto Europeo CANOPIES mirano ad affrontare le sfide della viticoltura di precisione e a contribuire allo sviluppo della robotica in agricoltura. L’obiettivo finale del progetto è quello di consentire al personale agricolo e ai robot di collaborare in una serie di attività agronomiche, come la raccolta e la potatura dei vigneti di uva da tavola. Questa sfida presenta una molteplicità di aree complesse, tra cui il controllo, l’interazione uomo-robot, la computer vision e la meccanica. Per affrontare queste sfide, gli obiettivi del progetto vengono perseguiti attraverso lo sviluppo e l’implementazione di un robot bi-manipolatore collaborativo, progettato e ottimizzato da diverse università europee. Questa tesi di fine Master affronta il problema della percezione nella procedura di potatura, con l’obiettivo di contribuire al progetto CANOPIES. Grazie alla collaborazione con agronomi esperti, nel corso di circa un anno, sono stati sviluppati strumenti innovativi che integrano metodologie di computer vision classiche e affidabili. Questi strumenti consentono al robot di completare con successo il compito di potatura e coprono gli aspetti essenziali della robotica nei vigneti di uva da tavola tra cui il software per la gestione autonoma dei vigneti, la segmentazione della vite, la ricostruzione del filo del traliccio e l’identificazione del punto di potatura. La soluzione sviluppata è stata sottoposta a un rigoroso sviluppo e test utilizzando i dati provenienti dal campo di Aprilia (Italia) e un apposito set-up di laboratorio. Dopo aver condotto valutazioni sul campo, il software per la gestione autonoma dei vigneti ha mostrato risultati promettenti. La segmentazione della vite dimostra prestazioni soddisfacenti, mentre i punteggi F1 per il rilevamento dei fili dei tralicci e delle gemme raggiungono rispettivamente l’88,3% e il 66,8%. Di conseguenza, la soluzione soddisfa efficacemente i requisiti stabiliti dal progetto CANOPIES.