Autonomous robotic strawberry harvesting : from perception to trajectory planning

Nowadays, the agricultural chain's dependency on human labor turned out to be risky. The worldwide demand for agricultural products is rapidly increasing due to the growing population, but, in parallel, the number of rural laborers is declining chronic everywhere or can be compromised by exceptional events, like the recent pandemic. Automation of agriculture can be an important solution to tackle the increasing load on farming businesses forced to deal with the aforementioned issues. Strawberry is among high-value crops with considerable harvesting costs highly dependent on human labour, but a fully viable commercial robotic system for autonomous picking has yet to be established. This thesis deals with some main problems for the development of a successful strawberry harvesting technology: ready-to-be-picked strawberry detection, key-points localisation for grasping and picking actions, fruit weight estimation before picking, and path planning from visual information to reach the target fruit. Strawberries are subject to chaotic configurations from the organic cluster formations, causing obstructions to harvest-ready fruits and this poses a great problem for visual localisation. Moreover, picking and grasping points detection is a needed perception component for a successful selective harvesting robot. These problems have been addressed with Deep Learning (DL) and in particular, Detectron-2, a next-generation open-source object detection system from Facebook AI Research based on Mask Region-based Convolutional Neural Network (Mask R-CNN) has been trained to segment berries, classify them as ripe or unripe and to detect the key-points for picking and grasping action. Strawberry weight estimation has been achieved in the Machine Learning framework implementing a Random Forest Model with Decision Trees which takes as input a vector including features extracted from RGB and depth data of the berries whose weight has to be estimated. This approach has been proven to outperform many other state-of-the-art DL approaches. Weight estimation of the strawberries before picking can help sort the fruits in the correct punnet right after picking, that meets the legislation for immediate packaging, which results in minimum fruit touch and in the subsequent decrease of the added packaging costs during post-harvesting processes. Once the fruit perception problem is addressed, the ultimate goal for the robotic system is the ability to efficiently and successfully reach to pick ripe strawberries. This has been solved by proposing a new probabilistic neural network architecture, called deep Probabilistic Movement Primitives (deep-ProMP), that generates successful reach-to-pick trajectories distributions from visual camera information only, trained in a Learning from Demonstrations (LfD) setting. A few model architectures have been presented, namely, Deep-ProMP-AE, Deep-ProMP-VAE, and Deep-ProMP-cVAE which all have a two-fold design: from the input image to a latent space representation and from the latent representation to the desired trajectories distribution. This architecture design has been compared against the direct mapping from the RGB image to the trajectory space to show its superiority. A probabilistic approach has been preferred over a deterministic one for trajectory prediction since this setting can be exploited in future developments to sample from the predicted distribution to optimise the trajectory to meet secondary objectives, like collision avoidance. Finally, a novel domain-specific latent space training has been proposed to learn the latent space representation of the input image in a way that is relevant both for computer vision and for the specific robotic task.

Al giorno d'oggi, la dipendenza della filiera agricola dal lavoro umano si è rivelata essere rischiosa. La domanda mondiale di prodotti rurali è in rapida crescita a causa dell'aumento della popolazione, ma, parallelamente, il numero di lavoratori agrari è in calo cronico ovunque o può essere compromesso da eventi eccezionali, come la recente pandemia. L'automazione dell'agricoltura può costituire un'importante soluzione per affrontare il carico crescente sulle imprese agricole, costrette a far fronte ai suddetti problemi. Nonostante la fragola sia tra le colture di alto valore con costi di raccolta considerevoli e fortemente dipendenti dal lavoro umano, deve ancora essere sviluppato un sistema robotico commercializzabile per la raccolta autonoma. Questa tesi affronta alcuni tra i principali problemi per lo sviluppo di una tecnologia di raccolta autonoma delle fragole: il rilevamento delle fragole mature, la localizzazione dei punti chiave per l'azione di raccolta, la stima del peso dei frutti, e la pianificazione della traiettoria della mano robotica dalle informazioni visive per raggiungere il frutto da raccogliere. Le fragole sono soggette a configurazioni caotiche e a formazioni organiche a grappolo, che rendono poco visibili i frutti maturi e questo rappresenta un grosso problema per la localizzazione a carico della tecnologia di visione artificiale. Inoltre, anche la localizzazione dei punti di taglio del frutto è una componente di percezione necessaria. Questi problemi sono stati affrontato con tecniche di Deep Learning (DL) ed in particolare con Detectron-2, un sistema di rilevamento di oggetti open-source di nuova generazione creato da Facebook AI Research, basato su Mask Region-based Convolutional Neural Network (Mask R-CNN), il quale è stato addestrato per eseguire la segmentazione delle fragole, la classificazione in mature o acerbe e a rilevare i punti chiave necessari per la raccolta del frutto. La stima del peso delle fragole è stata ottenuta nell'ambito del Machine Learning, implementando un Random Forest Model with Decision Trees, il cui input è un vettore che include le caratteristiche estratte dai dati RGB e di profondità delle fragole il cui peso deve essere stimato. Questo approccio è stato dimostrato essere più accurato di altre tecniche recenti basate sul DL. La stima del peso delle fragole può aiutare a smistare i frutti nei corretti contenitori subito dopo la raccolta, il che soddisfa la legislazione per il confezionamento immediato, il quale implica un tocco minimo del frutto e una riduzione dei costi di confezionamento aggiunti durante lo stadio post-raccolta. Una volta affrontato il problema dell'individuazione del frutto da raccogliere, l'obiettivo finale del sistema robotico è la capacità di raggiungerlo in modo efficace. Questo problema è stato risolto proponendo un nuovo design probabilistico di rete neurale, chiamato deep Probabilistic Movement Primitives (deep-ProMP), che genera distribuzioni di traiettorie dalle sole informazioni visive della telecamera, allenato in un'impostazione di Apprendimento tramite Dimostrazioni. Sono state presentate diverse architetture per il modello proposto, vale a dire Deep-ProMP-AE, Deep-ProMP-VAE e Deep-ProMP-cVAE che hanno tutte un duplice design: dall'immagine di input alla rappresentazione nello spazio latente e dalla rappresentazione latente alla distribuzione delle traiettorie. Questo design è stato confrontato con la mappatura diretta dall'immagine RGB allo spazio delle traiettorie per mostrarne la superiorità. Inoltre, un approccio probabilistico è stato preferito rispetto ad uno deterministico poiché questa impostazione può essere sfruttata in sviluppi futuri per campionare dalla distribuzione di traiettorie prevista e ottimizzare rispetto ad obiettivi secondari (come evitare le collisioni). Infine, è stato sviluppato un nuovo metodo di regolazione dello spazio latente specifico al dominio di applicazione, per apprendere la rappresentazione dell’immagine di input in funzione sia della visione computerizzata che dello specifico compito robotico.