DeepProMPs: a case study for strawberry robotic picking application

World economy instability, social and political behaviours and climate crisis are just few factors that have a massive impact on the agricultural field, causing a drastic drop in the employed manpower. As a consequence, scientists and researchers across all countries expanded their focus on robotics applications to help reduce the demand of agricultural working labour, along with improving productivity, sustainability, and operating costs. With the advent of artificial intelligence and collaborative robotics, new technologies have been applied in the Agri-Food field, reaching remarkable results. One of the most crucial tasks in agriculture is the harvesting, meaning the operation of collecting a ripe crop from its plant or field. This thesis work aims to face the diverse problems encountered in a picking operation of high value crops, focusing on automating the harvesting operation for strawberry clusters. Introducing two different deep learning techniques (Generative Adversarial Networks, and AutoEncoder) and exploiting the Movement Primitives approach, this work offers solutions to the task, generating robot trajectories that allow the reach-to-pick of a highlighted strawberry, starting from the visual information captured by a camera. A full dataset comprehensive of recorded trajectories and images has been collected, and used to carry out the project on a Franka Emika 7 degree of freedom robotic arm. The proposed approach was ultimately tested on the field, using plastic strawberries phantom.

Instabilità economica mondiale, comportamenti politici e sociali e crisi climatica sono solo alcuni dei fattori che hanno avuto un impatto massivo sul settore agricolo, causando un drastico crollo della manodopera impiegata. Per queste ragioni, scienziati e ricercatori da tutto il mondo hanno esteso il loro focus su applicazioni robotiche per aiutare a ridurre la domanda di forza lavoro agricola, oltre a migliorare produttività, sostenibilità, e costi operativi. Con l’avvento dell’intelligenza artificiale e della robotica collaborativa, nuove tecnologie sono state applicate in questo campo, raggiungendo risultati notevoli. Uno dei compiti più cruciali nell’agricoltura è la raccolta, cioè l’operazione di raccogliere un frutto maturo della sua pianta o campo. Il lavoro di questa tesi mira ad affrontare i diversi problemi incontrati in un operazione di raccolta di frutti di alto valore, concentrandosi sull’automatizzare l’operazione per piante di fragole. Introducendo due diverse tecniche di deep learning (Generative Adversarial Networks, e AutoEncoder) e sfruttando l’approccio dei Movement Primitives, la tesi offre soluzioni al compito, generando traiettorie eseguite da un robot che permettono di raggiungere una evidenziata fragola, per eseguire l’operazione di raccolta del frutto, partendo dall’informazione visiva catturata da una videocamera. Un dataset completo comprensivo di traiettorie registrate ed immagini è stato raccolto ed utilizzato per portare a compimento il progetto, utilizzando un braccio robotico a 7 gradi di libertà chiamato Franka Emika. L’approccio proposto è stato ultimamente testato sul campo, utilizzando delle realistiche fragole artificiali.