In-field and on-the-go grape ripeness estimation via snapshot hyperspectral imaging

The monitoring of grapes for ripeness estimation is a practice that enables localized harvesting at the optimal time. Hyperspectral imaging represents a non-destructive and high-throughput alternative to traditional laboratory analyses. Current literature approaches perform hyperspectral measurements using line scan sensors or low-resolution static snapshot cameras, which hinder a fast per-bunch ripeness characterization. We propose a framework for in-field and on-the-go collection and processing of snapshot hyperspectral images to estimate single bunch ripeness parameters. We collected images under natural illumination with a hyperspectral camera (500-900 nm) mounted on a moving vehicle in an experimental table grape (Red Globe) vineyard in Piacenza, Italy. We investigated images collected in August and September 2021 representing two ripening stages. The composition of the imaged grape bunches was determined through laboratory chemical analyses to predict Total Soluble Solids (TSS) and anthocyanin concentration. The images were pre-processed via multimodal image registration to correct the unalignment of bands due to the vehicle motion, and the single bunches were automatically identified on false RGB images through a Mask R-CNN instance segmentation network. The mean spectra of the bunches were used as input features of a Partial Least Squares Regression (PLSR) model to predict the chemical parameters for both single bunches and plants. The regression model of TSS had a determination coefficient ($R^2$) of 0.75 (10-fold nested cross-validation) on bunches and an $R^2$ of 0.85 on plants. The regression model of anthocyanin had an $R^2$ of 0.68 on bunches and an $R^2$ of 0.49 on plants. The results suggest the potential of using snapshot hyperspectral imaging for high-throughput analysis of a per-bunch grape ripeness estimation. The method described in this study could give valuable information to improve harvest operations and even allow for precise and automated robotic harvesting.

Monitorare il grado di maturazione dell'uva permette il raccolto localizzato dei grappoli al momento opportuno. Rispetto alle tradizionali analisi in laboratorio, l'utilizzo di immagini iperspettrali permette di effettuare stime in modo veloce e senza la distruzione dei campioni analizzati. La letteratura attuale misura i dati iperspettrali utilizzando sensori line scan o fotocamere snapshot statiche a bassa risoluzione, ostacolando possibili analisi basate sui singoli grappoli. Proponiamo una struttura per l'acquisizione ed elaborazione di immagini iperspettrali snapshot scattate in movimento per la stima di parametri chimici collegati alla maturazione nei grappoli d'uva. Le immagini sono state scattate in condizioni di illuminazione naturale usando una fotocamera iperspettrale (500-900 nm) montata su un veicolo controllato da remoto, che si è spostato in un vigneto sperimentale di uva da tavola (Red Globe) di Piacenza, Italia. I grappoli sono stati scansionati in due date di agosto e settembre 2021 e rappresentano due diversi stadi di maturazione dell'uva. Il contenuto di solidi solubili totali (TSS) e antociani dei grappoli è stato successivamente determinato in laboratorio. Per correggere lo sfasamento delle bande iperspettrali dovuto al movimento del veicolo, le immagini sono state riallineate con tecniche di registrazione multimodale. I grappoli sono stati identificati tramite una Mask R-CNN per la segmentazione delle istanze. La media spettrale dei grappoli è stata usata in ingresso in un modello di regressione Partial Least Squares (PLSR) per stimare i parametri chimici in grappoli e piante. Il modello di regressione per il contenuto di TSS ha ottenuto un coefficiente di determinazione ($R^2$) di 0.75 (doppia cross-validazione 10-fold) sulle piante ed un $R^2$ di 0.85 sui grappoli. La regressione per gli antociani ha ottenuto un $R^2$ di 0.68 sui grappoli e un $R^2$ di 0.49 sulle piante. I nostri risultati suggeriscono il potenziale applicativo di immagini iperspettrali snapshot per analisi ad alto rendimento basate su singoli grappoli d'uva. I metodi descritti nel nostro studio potrebbero fornire informazioni utili per migliorare le operazioni di raccolto, e possono favorire l'introduzione di tecniche robotizzate per il raccolto di precisione.