Strawberry picking scheduling: challenges in robotics harvesting

Agriculture is experiencing a crisis due to economical, social, political, and climatic factors, causing a dropping in manpower in farming. Accordingly, research in robotics has been expanded to improve productivity, specialization, and environmental sustainability in the sector. Collaborative robots are presenting exciting solutions for the collection of fruits. In berry cultivation, labour represents the largest cost and a vast operational uncertainty for farmers. Therefore, automation is desirable even though picking small soft crops is challenging for manipulators since it requires high accuracy and robustness while working in unstructured environments. This thesis work aims to address some issues in the field of autonomous strawberry harvesting. It tackles the problem of perception using modern object detectors such as DETR and Detectron2 to identify and classify fruits by ripeness and occlusion properties. Regarding the reach-to-pick task, it exposes some improvements on the Deep-Probabilistic-Movement-Primitives model for trajectory generation. The main novelty stands in the introduction of a deep model based on Graph Attention Networks for the prediction of picking scheduling from visual input. This allows human-like reasoning to reduce failures in autonomous harvesting. A trajectory dataset and annotated strawberry images dataset are collected and processed for this work. The overall proposed procedure for the autonomous collection of a specific berry target was tested with a Franka Emika robotic arm.

L'agricoltura sta attraversando una crisi dovuta a fattori economici, sociali, politici e climatici, che stanno causando una diminuzione della manodopera in questo campo. Di conseguenza, parte della ricerca in robotica si è sviluppata con lo scopo di migliorare la produttività, la specializzazione e la sostenibilità ambientale nel settore. I robot collaborativi stanno introducendo soluzioni interessanti nel campo della raccolta della frutta. Nella coltivazione dei frutti di bosco, la manodopera rappresenta il costo maggiore, nonché una incertezza operativa per gli agricoltori. Pertanto l'automazione in questo settore sarebbe vantaggiosa, nonostante maneggiare piccoli frutti sia impegnativo per i manipolatori poiché richiede elevata precisione e robustezza lavorando in un ambiente non uniforme. Questo lavoro di tesi affronta alcune problematiche relative alla raccolta autonoma delle fragole. Propone l'utilizzo di moderni strumenti di object detection come DETR e Detectron2, per identificare e classificare i frutti in base alle proprietà di maturazione e occlusione. Per quanto riguarda il problema di reach-to-pick, espone alcuni miglioramenti al modello Deep-Probabilistic-Movement-Primitives per la generazione di traiettorie. Ma la principale novità sta nell'introduzione di un deep model basato su Graph Attention Networks per la predizione di uno scheduling di raccolta partendo da input visivi. Ciò permette una percezione simile a quella umana, con lo scopo di diminuire le imprecisioni nella raccolta autonoma. Per questo lavoro di tesi sono stati raccolti ed elaborati un dataset di traiettorie e un dataset di immagini di fragole provvisto di annotazioni. La procedura proposta per la raccolta autonoma di una specifica fragola è stata testata su un braccio robotico Franka Emika.