The devil is in the details: a few-shot approach for small weeds segmentation

In agriculture production, weed control is one of the most important means to improve crop productivity. Weeds are plants that undesirably grow in proximity to crops, competing for nutrients, water, sunlight and growing space. Therefore, destroying the spread of such weeds can drastically improve the efficiency of crop yield. Precise spraying is an effective solution to contain costs and environmental damage. However, it requires precisely detecting crops and weeds within the cultivated land. Nowadays, the goal is to automate this task by adopting smart agriculture technologies. As a result, many Deep Learning approaches have been implemented. However, traditional segmentation networks require massive labelled datasets to be properly trained and evaluated. Such datasets can be expensive and time-consuming to be collected. In addition, since most of the datasets in the literature, such as ImageNet, are composed of natural scenes and web images, they cannot be directly applied to precision agricultural vision tasks. There are few publicly available datasets based on plants or leaves. Few-Shot Semantic Segmentation (FSS) is a computer vision task that addresses the challenge of segmenting images in case of data scarcity. Therefore, to overcome the necessity of an extensive labelled dataset, this research proposes to adopt a FSS model to perform weed detection. In particular, we started by evaluating the Prior Features Enrichment Network (PFENet) model, discovering a performance gap between the segmentation of crops and weeds instances. This result is attributed to the difference in size of the two semantic classes, as weed instances are considerably smaller. Therefore, it is proposed a patch-wise coefficient to re-calibrate the loss function in case of class imbalance, which is combined by the introduction of a high-resolution branch and a feature-fusion module to fully leverage low-level features. The PFENet architecture, enhanced with these new elements, outperforms the baseline results by approximately 8% on ROSE, the benchmark dataset employed in this thesis.

Nella produzione agricola, il controllo delle erbe infestanti è un elemento chiave per migliorare la produttività delle colture. Infatti, le erbe infestanti sono piante che crescono in modo indesiderato in prossimità delle colture, sottraendo nutrienti, acqua, luce solare e spazio di crescita. Pertanto, distruggerne la diffusione può migliorare sensibilmente la resa delle colture. Il precise spraying rappresenta una soluzione efficace per il controllo di tali piante, che contiene costi e danni ambientali. Tuttavia, per essere applicato, richiede la precisa individuazione delle colture e delle erbe infestanti sul terreno coltivato. L’obiettivo è automatizzare questo compito, adottando tecnologie di smart agriculture. Di conseguenza, sono stati implementati molti modelli di Deep Learning. Tuttavia, le reti di segmentazione tradizionali richiedono enormi dataset etichettati per essere adeguatamente addestrate e valutate, la cui raccolta può essere lunga e dispendiosa. Poiché molti dei dataset presenti in letteratura, come ImageNet, sono composti di immagini prese dal web, non possono essere utilizzati in un contesto di precision agriculture, che necessita di dati specificatamente relativi a piante o foglie. Il Few-Shot Semantic Segmentation (FSS) si occupa di segmentare immagini in assenza di una grande quantità di dati. Pertanto, per superare la necessità di un ampio dataset etichettato, questa tesi propone l’adozione di un modello few-shot per la segmentazione di erbe infestanti. In particolare, abbiamo iniziato valutando il Prior Features Enrichment Network (PFENet), scoprendo un divario di prestazioni tra la segmentazione di colture e di piante infestanti. Abbiamo attribuito questo risultato alla differenza di dimensioni delle due classi semantiche, in quanto le piante infestanti sono di grandezza notevolmente minore. Pertanto, è stato proposto un coefficiente patch-wise per ricalibrare la loss function in caso di squilibrio tra le classi, combinato con l’introduzione di un branch ad alta risoluzione e di un modulo di feature-fusion per sfruttare appieno le low-level features, che risultano essere le più dettagliate. L’architettura PFENet, arricchita di questi nuovi elementi, supera i risultati ottenuti dal modello di partenza di circa l’8% su ROSE, il dataset utilizzato in questa tesi.