3D reconstruction and canopy volume estimation

The dissertation presents a system designed to reconstruct grapevine rows in vineyards in 3D, model canopy shapes, and estimate canopy volumes for individual grapevines. It investigates the correlation between these volume estimates and manual measurements such as canopy gap percentage, leaf layer count, and interior leaf percentage. Using data from various sensors mounted on a remotely operated vehicle, including an RGBD camera, 2D and 3D LiDAR, IMU, wheel odometer, and GPS, the study aimed to find the optimal setup for automated volume estimation while considering potential trade-offs. The pipeline includes a segmentation step using transformer-based deep learning models to extract grapevine canopies and trunks. Challenges in reconstruction quality were addressed, with RTAB-Map showing slightly better results compared to a GPS-based method, though alignment issues persisted. The study found that estimated volumes can discriminate between trees of high and low vigor and correlate with measured parameters, but further improvements are needed. Overall, the proposed setup and pipeline offer a potential foundation for a robust, minimally supervised system for continuous monitoring of grapevine trees to inform data-driven farming decisions.

La tesi presenta un sistema progettato per ricostruire i filari di vite nei vigneti in 3D, modellare le forme della chioma e stimare i volumi della chioma per le singole viti. Indaga la correlazione tra queste stime di volume e misurazioni manuali come la percentuale di gap della chioma, il conteggio degli strati fogliari e la percentuale di foglie interne. Utilizzando i dati provenienti da vari sensori montati su un veicolo telecomandato, tra cui una fotocamera RGBD, LiDAR 2D e 3D, IMU, contachilometri su ruota e GPS, lo studio mirava a trovare la configurazione ottimale per la stima automatizzata del volume considerando potenziali compromessi. La pipeline include una fase di segmentazione che utilizza modelli di deep learning basati su trasformatori per estrarre le chiome e i tronchi delle viti. Sono state affrontate le sfide relative alla qualità della ricostruzione, con RTAB-Map che ha mostrato risultati leggermente migliori rispetto a un metodo basato su GPS, sebbene persistessero problemi di allineamento. Lo studio ha rilevato che i volumi stimati possono discriminare tra alberi ad alto e basso vigore e correlarsi con i parametri misurati, ma sono necessari ulteriori miglioramenti. Nel complesso, la configurazione e la pipeline proposte offrono una potenziale base per un sistema robusto e minimamente supervisionato per il monitoraggio continuo degli alberi di vite per informare le decisioni agricole basate sui dati.