A comparative study of semantic video segmentation for agricultural UGVs

Orchard video segmentation is hard to transfer from standard benchmarks because seasonal appearance changes, occlusions, and strong object-scale variation degrade both spatial accuracy and temporal stability. This thesis evaluates how representative segmentation paradigms generalize to orchard videos without retraining and how failure modes depend on phenological stage and orchard domain. Experiments are conducted on a custom dataset of apple and pear orchards videos recorded across three phenological stages: dormancy, flowering, and harvesting. A unified evaluation protocol is introduced to compare heterogeneous model families under identical conditions using publicly available pretrained checkpoints. Semantic ground truth is generated with a semi-automatic pipeline that combines LiDAR-derived geometric cues, lightweight visual heuristics, and prompt-based refinement, followed by temporal backfilling of unknown regions. Four off-the-shelf approaches are evaluated—DeepLabV3+, Video-kMaX, EntitySAM, and SAM3—by converting their outputs into a shared semantic ontology via fixed remapping and aggregation rules. Performance is measured using mIoU, Boundary IoU, and Temporal IoU, capturing region-level accuracy, contour fidelity, and inter-frame consistency, respectively. The results show that flowering and harvesting induce the strongest domain shift. Small, domain-critical classes (flowers and fruits) are frequently omitted even when large regions remain stable. Temporal IoU can remain high despite semantic incompleteness, indicating that temporal consistency alone does not guarantee correct class recovery. Boundary IoU further highlights weak contour fidelity for most non-foundation pipelines, while interpretation of SAM3 scores musttake into account partial dependence with the annotation refinement process.

La segmentazione video dei frutteti è difficile da trasferire dai benchmark standard perché i cambiamenti stagionali nell'aspetto, le occlusioni e le forti variazioni nella scala degli oggetti degradano sia l'accuratezza spaziale che la stabilità temporale. Questa tesi valuta come i paradigmi di segmentazione rappresentativi si generalizzano ai video dei frutteti senza necessità di riqualificazione e come le modalità di fallimento dipendono dalla fase fenologica e dal dominio del frutteto. Gli esperimenti sono condotti su un set di dati personalizzato di video di frutteti di mele e pere registrati in tre fasi fenologiche: dormienza, fioritura e raccolta. Viene introdotto un protocollo di valutazione unificato per confrontare famiglie di modelli eterogenei in condizioni identiche utilizzando checkpoint pre-addestrati disponibili pubblicamente. La verità semantica di base viene generata con una pipeline semiautomatica che combina indicazioni geometriche derivate dal LiDAR, euristica visiva leggera e perfezionamento basato su prompt, seguito dal riempimento temporale delle regioni sconosciute. Vengono valutati quattro approcci standard: DeepLabV3+, Video-kMaX, EntitySAM e SAM3, convertendo i loro output in un'ontologia semantica condivisa tramite regole fisse di rimappatura e aggregazione. Le prestazioni vengono misurate utilizzando mIoU, Boundary IoU e Temporal IoU, che catturano rispettivamente l'accuratezza a livello di regione, la fedeltà dei contorni e la coerenza tra i fotogrammi. I risultati mostrano che la fioritura e la raccolta inducono il più forte spostamento di dominio. Le classi piccole e critiche per il dominio (fiori e frutti) vengono spesso omesse anche quando le regioni di grandi dimensioni rimangono stabili. Il Temporal IoU può rimanere elevato nonostante l'incompletezza semantica, indicando che la coerenza temporale da sola non garantisce il corretto recupero della classe. Il Boundary IoU evidenzia ulteriormente la scarsa fedeltà dei contorni per la maggior parte delle pipeline non fondamentali, mentre l'interpretazione dei punteggi SAM3 deve tenere conto della dipendenza parziale dal processo di perfezionamento delle annotazioni.