Grape bunch detection, tracking and volume estimation with RGB D cameras and deep neural networks

Vineyard yield estimation is the process of projecting as accurately as possible the quantity of crop that will be harvested. Yield estimation is a very important component of successful wine grape production. Inaccurate yield estimation can have dire consequences for vineyard logistics, including harvesting and transport, for growers with fruit over contracted tonnes, and for allocation of winery staff, crushers, fermenters, and wine storage. Poor yield estimation can also have longer-term impacts on budget, supply, and marketing for vineyards and wineries. Traditional methods for yield estimation are inaccurate and destructive. Producers estimate yield by counting the amount of a certain crop gathered in a sample area. After weighing the harvested crop, the crop yield of the entire field is extrapolated from the sample. Automatic yield estimation aims to overcome the limitations of the current manual methods, by estimating the final crop load in a rapid, sustainable, non-destructive, and accurate manner. This work provides a method employing depth cameras for robust grape bunch detection and yield estimation in outdoor vineyards, regardless of the grape variety. The proposed method is based on a sequential multi-step pipeline that consists of state-of-the-art instance segmentation networks, an Offline min-cost-flow tracking-by-detection algorithm, and a linear regression technique that uses depth information and instance segmentation mask as input features. In each phase, we analyze the impact and effectiveness of the depth information, providing possible research directions for the further potential improvement of 3D data usage in yield estimation. Finally, we demonstrated that with a small number of manually annotated images and depth information is possible to achieve encouraging outcomes.

La stima del raccolto del vigneto consiste nel proiettare quantitativamente il raccolto prima dell vendemmia, nel modo più accurato possibile. La stima del raccolto è una componente molto importante per una proficua produzione di uva da vino. Una stima imprecisa della resa può avere conseguenze sconvenienti in termini di logistica del vigneto, come la raccolta e il trasporto, sia per quanto riguarda i coltivatori che si ritrovano con frutta in quantità superiori ai contratti di produzione e, sia per l’allocazione del personale della cantina, dei frantoi, dei fermentatori e dello stoccaggio del vino. Una stima imprecisa della resa può anche avere un impatto a lungo termine sul budget, sull’offerta e sul marketing di vigneti e cantine. I metodi tradizionali per la stima della resa sono imprecisi e distruttivi. I produttori stimano la resa basandosi sulla quantità di raccolto estratto da un’area campione. Dopo aver pesato il raccolto estratto, la resa totale del raccolto dell’intero campo viene ricavata dalla proporzione sul campione. La stima automatica della resa del raccolto mira a superare i limiti degli attuali metodi manuali, stimando il carico finale in modo rapido, sostenibile, non distruttivo e accurato. Questo elaborato introduce un metodo che impiega una fotocamera di profondità per ottenere un accurato rilevamento dei grappoli e una stima affidabile della resa dei vigneti all’aperto, indipendentemente dal tipo di uva in esame. Il metodo proposto si basa su una pipeline sequenziale composta da più fasi che consiste in reti di instance segmentation allo stato dell’arte , un algoritmo di tracking offline basato sul paradigma del tracking-by-detection e sull’algoritmo di flusso a costo minimo, e infine una tecnica di regressione lineare che utilizza come input informazioni sulla profondità e sulla maschera di segmentazione per ogni istanza in esame. In ogni fase, analizziamo l’impatto e l’efficacia delle informazioni relative alla profondità, fornendo possibili direzioni di ricerca per l’ulteriore potenziale miglioramento dell’utilizzo dei dati 3D nella stima della resa del raccolto. Infine, abbiamo dimostrato che con un piccolo numero di immagini annotate manualmente e informazioni di profondità è possibile ottenere risultati promettenti.