Optimizing agriculture with robotics and artificial Intelligence : a focus on autonomous weeding and vineyard phenotyping

The agricultural sector faces global challenges such as a growing population, limited farmland availability, and the pressing threat of climate change. Responding to these challenges, the Digital Agriculture Revolution (DAR) emerges as a beacon of progress, employing technologies like AI, Robotics, and IoT to support farmers and promote sustainable agriculture. However, Digital Agriculture encounters significant hurdles, with one of the most critical being the generalization of AI and robotics systems' performance. Models trained with limited and specific data struggle to adapt to new conditions. This thesis explores the variability in agricultural environments, influenced by local weather and soil characteristics, and investigates domain generalization methods to effectively address this diversity in two key use-cases: autonomous weeding and vineyard phenotyping. Autonomous weeding, an appealing solution to challenges like labor scarcity and environmental pollution, utilizes technologies such as machine vision and AI. The METRICS-ACRE project is introduced to assess and develop these technologies, tackling complexities such as different weed species and varying environmental conditions. Domain adaptation techniques are explored to improve the generalization of weed detection models on new domains, such as different acquisition platforms or years. Vineyard applications are also explored, focusing on plant phenotyping. This involves observing and measuring grapevine characteristics like growth patterns, yield potential, disease resistance, and reactions to environmental factors. The VINEPICs dataset supports the development of grape bunch detection and tracking, providing valuable data for yield estimation and vineyard management. Surgical Fine-Tuning (SFT) is presented as an innovative transfer learning technique to enhance the accuracy of instance segmentation models in various viticultural scenarios. Furthermore, the thesis delves into autonomous navigation within vineyards using LiDAR sensing. Unlike methods relying on pre-mapped routes, our approach utilizes real-time data to autonomously navigate vineyards, adapting to changes in the environment. This research contributes to digital agriculture, showcasing how innovative technologies can transform traditional practices, promising increased efficiency, and fostering sustainable farming. Nevertheless, the high variability of agricultural environments poses a generalization problem, which this thesis addresses by capturing the field's variability through real-world datasets and enhancing the generalization capabilities of models for real-world deployment.

Il settore agricolo si trova di fronte a sfide globali come la crescita della popolazione, la limitata disponibilità di terreni agricoli e la minaccia imminente dei cambiamenti climatici. In risposta a queste sfide, emerge la Rivoluzione Agricola Digitale (DAR) come un faro di progresso, impiegando tecnologie come l'Intelligenza Artificiale, la Robotica e l'Internet delle Cose (IoT) per sostenere gli agricoltori e promuovere l'agricoltura sostenibile. Tuttavia, l'Agricoltura Digitale incontra significative sfide, con una delle più critiche che riguarda la generalizzazione delle prestazioni dei sistemi di intelligenza artificiale e robotica. I modelli addestrati con dati limitati e specifici faticano ad adattarsi a nuove condizioni. Questa tesi esplora la variabilità negli ambienti agricoli, influenzata dalle condizioni meteorologiche locali e dalle caratteristiche del suolo, e indaga sui metodi di generalizzazione di dominio per affrontare efficacemente questa diversità in due casi d'uso chiave: il diserbo autonomo delle erbacce e la fenotipizzazione delle vigne. Il diserbo autonomo, una soluzione interessante per sfide come la scarsità di manodopera e l'inquinamento ambientale, utilizza tecnologie come la visione artificiale e l'intelligenza artificiale. Il progetto METRICS-ACRE viene presentato per valutare e sviluppare queste tecnologie, affrontando complessità come diverse specie di erbacce e variazioni delle condizioni ambientali. Vengono esplorate tecniche di adattamento di dominio per migliorare la generalizzazione dei modelli di rilevamento delle erbacce su nuovi domini, come piattaforme di acquisizione diverse o anni differenti. Vengono esplorate anche applicazioni nelle vigne, concentrandosi sulla fenotipizzazione delle piante. Questo coinvolge l'osservazione e la misurazione delle caratteristiche delle viti come i modelli di crescita, il potenziale di resa, la resistenza alle malattie e le reazioni ai fattori ambientali. Il dataset VINEPICs supporta lo sviluppo della rilevazione e tracciamento dei grappoli d'uva, fornendo dati preziosi per la stima della resa e la gestione delle vigne. Viene presentata la tecnica di Surgical Fine Tuning (SFT) come una tecnica innovativa di transfer learning per migliorare l'accuratezza dei modelli di instance segmentation in vari scenari viticoli. Inoltre, la tesi approfondisce la navigazione autonoma nelle vigne utilizzando il sensore LiDAR. A differenza dei metodi che si basano su percorsi pre-mappati, il nostro approccio utilizza dati in tempo reale per navigare autonomamente nelle vigne, adattandosi ai cambiamenti dell'ambiente. Questa tesi contribuisce all'agricoltura digitale, mostrando come tecnologie innovative possano trasformare pratiche tradizionali, promettendo un aumento dell'efficienza e favorire l'agricoltura sostenibile. Tuttavia, l'alta variabilità degli ambienti agricoli pone un problema di generalizzazione, che questa tesi affronta catturando la variabilità sul campo attraverso dataset del mondo reale e migliorando le capacità di generalizzazione dei modelli per l’applicazione pratica nel mondo reale.