Tactile forward model for robotized selective harvesting of high value crops

The presence of robots in agriculture has grown considerably in recent years. This trend stems from the concrete need to increase agricultural food production in the face of a growing world population and a steadily decreasing labour force in the fields, as well as the fact that the decreasing amount of land used for cultivation in industrialised countries requires more efficient sowing and harvesting operations. At the same time, it allows new technologies to be tested in an unstructured and therefore challenging environment. In this context, soft fruits and in particular strawberries represent high-value crops that require high human labour input and are consequently expensive and at risk of production decline if labour becomes scarce. Current implementations of robotic systems for strawberry harvesting have come up against the difficulties of an environment governed by the chaotic sense of plant growth where multiple factors can prevent successful harvesting. In this work the problem of Physical Robot Interaction (PRI) is addressed during robot cluster manipulation in strawberries harvesting. The approach uses a data-driven forward model based on tactile predictions to inform the controller about potential future movements of the object being pushed, strawberry stem, using a robot tactile finger. The model is a special type of neural network (NN) that, exploiting state-of-the-art Video Prediction methods, is built to predict future tactile sensations from information obtained by a new image-based tactile sensor developed specifically for this work. The model is integrated into a Deep Functional Predictive Control (d-FPC) system to control the displacement of the stem on the tactile finger during pushes. Pushing an object with a robot finger along a desired trajectory in 3D is a highly nonlinear and complex physical robot interaction, especially when the object is not stably grasped. The proposed approach controls the stem movements on the tactile finger in a prediction horizon. The effectiveness of the proposed approach is demonstrated in a series of tests including pushes of single and multiple stems. The results obtained assume that this approach is generalisable and scalable to other contexts requiring the manipulation in 3D space of delicate objects.

L'impiego di robot in agricoltura è aumentato notevolmente negli ultimi anni. Questa tendenza deriva dalla concreta necessità di aumentare la produzione di alimenti agricoli a fronte di una popolazione mondiale in continua crescita e di una forza lavoro nei campi in costante calo, nonché dal fatto che la diminuzione delle superfici coltivate nei Paesi industrializzati richiede operazioni di semina e raccolta più efficienti. Allo stesso tempo, consente di testare nuove tecnologie in un ambiente non strutturato e quindi più impegnativo. In questo contesto, la raccolta della frutta, e in particolare delle fragole, rappresenta un'operazione che richiede un elevato apporto di manodopera umana, è di conseguenza costosa e a rischio di declino della produzione se la manodopera scarseggia. Le attuali implementazioni di sistemi robotici per la raccolta delle fragole si sono scontrate con le difficoltà presenti in un ambiente non strutturato, condizionato dalla caotica configurazione assunta dalle piante e dove molteplici fattori possono impedire il successo dell'operazione di raccolta. Questo lavoro affronta il problema delle interazioni del manipolatore robotico con potenziali ostacoli durante la raccolta delle fragole. L'approccio proposto utilizza un modello di previsione data-driven basato su previsioni tattili per informare il controllore sui potenziali movimenti futuri dell'oggetto da spostare, lo stelo della fragola, utilizzando un sensore tattile montato su un dito dell'end-effector del braccio robotico. Il modello è una particolare rete neurale artificiale che, sfruttando i più avanzati metodi di predizione video, prevede le future sensazioni tattili a partire dalle informazioni ottenute da un nuovo sensore tattile basato su immagini, sviluppato appositamente per questo lavoro. Il modello è integrato in un sistema di controllo predittivo (d-FPC) per controllare lo spostamento dello stelo sul sensore tattile durante la manipolazione. Spingere un oggetto con l'end-effector del robot lungo una traiettoria desiderata nello spazio tridimensionale è un'interazione fisica non lineare e complessa, soprattutto quando l'oggetto non è afferrato in modo stabile. L'approccio proposto controlla i movimenti dello stelo sul sensore tattile entro un orizzonte di previsione. L'efficacia della strategia di controllo è dimostrata in una serie di test che includono spinte di steli singoli e multipli (grappolo). I risultati ottenuti presuppongono che questo approccio sia generalizzabile e applicabile ad altri contesti che richiedono la manipolazione nello spazio tridimensionale di oggetti delicati.