Fruit harvesting is among the most labor-intensive stages of food production, and the shrinking availability of seasonal workers makes its automation increasingly attractive. Orchards, however, are unstructured: plants differ, fruit is often hidden among leaves, and the produce must be detached without damaging it. A harvesting robot must therefore coordinate perception, manipulation, and contact. This thesis investigates whether a compact Vision-Language-Action (VLA) policy can pick apples in place of a hand-engineered detect-localize-plan-execute pipeline, mapping camera images, the robot's joint positions, and a language instruction directly into sequences of motor actions. A reproducible Isaac Sim environment is built around a PiPER arm and integrated with LeRobot, and two open policies, SmolVLA and X-VLA, are compared under one closed-loop protocol. The evaluation goes beyond nominal success. It compares ways of representing the robot's action and criteria for selecting the trained model, then probes robustness to visual changes, reworded instructions, and execution under the delays of a real deployment. The strongest policy harvests most of the fruit under the conditions it was trained on, while tests under unfamiliar conditions expose limits in telling target fruit from other objects, in coping with a new viewpoint, and in recovering from unexpected situations. Two improvements are then explored: a search for a single favorable random starting value for the policy's action generator, in place of a fresh draw at every step, and a correction loop in the style of DAgger that folds corrections recorded on the real robot back into the simulated training data. Overall, a sub-billion-parameter VLA is an effective controller for a constrained picking setup on accessible hardware, but reliable deployment still depends on targeted recovery data, careful execution, and evaluation beyond nominal success.
La raccolta della frutta è tra le fasi a più alta intensità di lavoro della filiera alimentare, e la disponibilità sempre più limitata di manodopera stagionale ne rende l'automazione sempre più interessante. Il frutteto, però, è un ambiente non strutturato: le piante differiscono, i frutti sono spesso nascosti tra le foglie e il prodotto va staccato senza danneggiarlo. Un robot da raccolta deve quindi coordinare percezione, manipolazione e contatto. Questa tesi studia se una policy compatta Vision-Language-Action (VLA) possa raccogliere le mele al posto di una pipeline ingegnerizzata di rilevamento, localizzazione, pianificazione ed esecuzione, mappando direttamente immagini, posizioni dei giunti del robot e istruzione linguistica in sequenze di azioni. Un ambiente Isaac Sim riproducibile è costruito attorno a un braccio PiPER e integrato con LeRobot, e due policy aperte, SmolVLA e X-VLA, sono confrontate con un unico protocollo closed-loop. La valutazione va oltre il successo nominale. Confronta i modi di rappresentare l'azione del robot e i criteri per scegliere il modello addestrato, poi sonda la robustezza a variazioni visive, istruzioni riformulate ed esecuzione sotto i ritardi di un impiego reale. La policy migliore raccoglie la gran parte dei frutti nelle condizioni in cui è stata addestrata, mentre le prove in condizioni diverse mostrano limiti nel distinguere i frutti bersaglio dagli altri oggetti, nell'adattarsi a un nuovo punto di vista e nel recuperare da situazioni inattese. Vengono poi esplorate due migliorie: una ricerca di un singolo valore iniziale casuale favorevole per il generatore di azioni della policy, al posto di un'estrazione nuova a ogni passo, e un ciclo di correzione in stile DAgger che reintegra nel dataset simulato le correzioni registrate sul robot reale. Nel complesso, una VLA con meno di un miliardo di parametri è un controllore efficace per uno scenario di raccolta vincolato su hardware accessibile, ma un impiego affidabile dipende ancora da dati di recupero mirati, da un'esecuzione attenta e da una valutazione che vada oltre il successo nominale.
Learning to harvest: end-to-end fruit picking with Vision-language-Action models
Ferrario, Alessandro
2025/2026
Abstract
Fruit harvesting is among the most labor-intensive stages of food production, and the shrinking availability of seasonal workers makes its automation increasingly attractive. Orchards, however, are unstructured: plants differ, fruit is often hidden among leaves, and the produce must be detached without damaging it. A harvesting robot must therefore coordinate perception, manipulation, and contact. This thesis investigates whether a compact Vision-Language-Action (VLA) policy can pick apples in place of a hand-engineered detect-localize-plan-execute pipeline, mapping camera images, the robot's joint positions, and a language instruction directly into sequences of motor actions. A reproducible Isaac Sim environment is built around a PiPER arm and integrated with LeRobot, and two open policies, SmolVLA and X-VLA, are compared under one closed-loop protocol. The evaluation goes beyond nominal success. It compares ways of representing the robot's action and criteria for selecting the trained model, then probes robustness to visual changes, reworded instructions, and execution under the delays of a real deployment. The strongest policy harvests most of the fruit under the conditions it was trained on, while tests under unfamiliar conditions expose limits in telling target fruit from other objects, in coping with a new viewpoint, and in recovering from unexpected situations. Two improvements are then explored: a search for a single favorable random starting value for the policy's action generator, in place of a fresh draw at every step, and a correction loop in the style of DAgger that folds corrections recorded on the real robot back into the simulated training data. Overall, a sub-billion-parameter VLA is an effective controller for a constrained picking setup on accessible hardware, but reliable deployment still depends on targeted recovery data, careful execution, and evaluation beyond nominal success.| File | Dimensione | Formato | |
|---|---|---|---|
|
2026_7_Ferrario_Executive_Summary.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Executive summary
Dimensione
10.34 MB
Formato
Adobe PDF
|
10.34 MB | Adobe PDF | Visualizza/Apri |
|
2026_7_Ferrario_Tesi.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: testo tesi
Dimensione
29.23 MB
Formato
Adobe PDF
|
29.23 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/261635