Data-driven model predictive control for strawberry pushing in 3D environment

As global demand for food increases alongside labor shortages in agriculture, the development of robotic solutions becomes imperative for sustainability and efficiency in crop production. This research delves into the challenges of automating the delicate task of strawberry harvesting, a process traditionally reliant on manual labor due to the fruit’s susceptibility to damage and the complexity of its growing environment. Central to this work is the implementation of a data-driven model predictive control (ddMPC) framework integrated with a tactile sensing mechanism that allows for real-time adaptation of the robot’s trajectory based on tactile feedback, thereby ensuring gentle and precise manipulation of the fruit. This model incorporates a neural network (NN) that utilizes cutting-edge video prediction techniques, designed to anticipate future tactile feedback based on data gathered from a newly developed image-based tactile sensor created expressly for this task. By leveraging data-driven techniques, the research addresses the unpredictability of physical interactions between the robot and the strawberries, improving the efficiency and success rate of robotic strawberry pushing, especially when the object is not firmly grasped. Experimental validation of the proposed system demonstrates a marked improvement in the precision of fruit handling, attributing to the neural network’s capability to learn and adapt from tactile feedback. This adaptability proves essential in the agricultural environments, where every fruit presents a unique challenge. In conclusion, this thesis offers a practical and effective solution to the challenges of strawberry harvesting. Through the integration of tactile feedback and data-driven model predictive control, it lays the groundwork for the development of more advanced and versatile robotic systems capable of meeting the growing demands of modern agriculture.

Con l’aumento della domanda globale di cibo e la carenza di manodopera in agricoltura, si rende necessario lo sviluppo di soluzioni robotiche per la sostenibilità e l’efficienza della produzione agricola. Questo lavoro di tesi analizza le sfide dell’automazione nel delicato compito della raccolta delle fragole, un processo tradizionalmente affidato al lavoro manuale a causa della suscettibilità del frutto ai danni e della complessità dell’ambiente di coltivazione. Al centro di questa ricerca c’è l’implementazione di un framework di controllo predittivo del modello guidato dai dati (dd-MPC) integrato con un sistema di rilevamento e predizione tattile che permette di adattare in tempo reale la traiettoria del robot in base al feedback tattile, garantendo così una manipolazione delicata e precisa del frutto. Questo modello incorpora una rete neurale (NN), che utilizza tecniche di previsione video all’avanguardia, e un sensore tattile basato su immagini di nuova concezione, creato appositamente per questo lavoro: la rete neurale è progettata per anticipare il feedback tattile, sulla base dei dati raccolti dal sensore tattile. Sfruttando le tecniche basate sui dati, la ricerca affronta l’imprevedibilità delle interazioni fisiche tra il robot e le fragole, migliorando l’efficienza e il tasso di successo della sollecitazione robotica delle fragole, soprattutto quando il frutto non è afferrato saldamente. La validazione sperimentale del sistema proposto dimostra un netto miglioramento nella precisione della manipolazione dei frutti, attribuibile alla capacità della rete neurale di apprendere e adattarsi al feedback tattile. Questa adattabilità si rivela essenziale nell’ambiente agricolo, dove ogni tipologia di frutto rappresenta una sfida unica. In conclusione, questa tesi offre una soluzione pratica ed efficace alle sfide della raccolta delle fragole. Grazie all’integrazione del feedback tattile e del controllo predittivo del modello guidato dai dati, pone le basi per lo sviluppo di sistemi robotici più avanzati e versatili, in grado di soddisfare le crescenti esigenze dell’agricoltura moderna.