Mathematical models and methods for the processing of earth observation data in agricultural applications

The agricultural sector has been experiencing rapid advancements with the rise of the new paradigm of Agriculture 4.0, which is based on sustainable, and efficient farming practices. This paradigm leverages emerging technologies such as remote sensing, big data analytics, and artificial intelligence. In this context, key challenges regard the avail- ability, management, and interpretability of satellite data, that are the essential resource for farmers and stakeholders with a view to agricultural informed-decisions. This thesis addresses these issues by focusing on three main aspects. i) Optical data unavailability under adverse weather conditions. ii) Significant burden concerning the storage and pro- cessing of high-volume Earth Observation data. iii) Advanced classification methods for optimal land-use analysis. The first part of the project investigates the use of Synthetic Aperture Radar (SAR) data as a surrogate in the absence of optical imagery, filling a crucial gap in continuous agricultural monitoring, and particularly in the nitrogen fertil- ization context. Indeed, many fertilization algorithms are based on optical satellite data, which are often unavailable due to unfavourable weather conditions, not guaranteeing the possibility of implementing nitrogen variable rate applications when required. To address this issue, we consider a simple optical data-based fertilization strategy and propose a data fusion technique, integrating SAR and optical data, to compute nitrogen prescrip- tion maps even in absence of optical data during critical phenological stages related to nitrogen fertilization. The proposed approach consists of the following steps: i) starting from optical and SAR data, train a U-Net-like Convolutional Neural Network (CNN) learning the relationship between SAR backscatter coefficients and the Normalized Dif- ference Vegetation Index (NDVI); ii) use the trained model to surrogate the optical NDVI information (when not available) from SAR data; iii) compute nitrogen prescription maps by applying the considered fertilization algorithm to the SAR-derived NDVI information. The second part of the project focuses on the effective representation, compression and storage of multiband optical data, which represent the first key resource within the Agri- culture 4.0 paradigm. With regard to this, a novel compression method for multiband optical data, characterized by high compression capability, is implemented. It consists of three stages. The first one involves a two-fold procedure. i) The use of Principal Component Analysis (PCA) along the channel dimension of an optical data to effec- tively represent its spectral information through a collection of a small number of basis images, corresponding to principal components. ii) The adoption of anisotropic mesh adaption techniques to effectively represent the spatial information associated with basis images. The resulting PCA-AdaptiveTriangular (PCA-AT) representation of an optical data consists of a triangular, unstructured, adaptive tessellation of the image domain, and a collection of linear continuous Finite Element (FE) functions defined on such a mesh, approximating basis images. The second stage involves the effective storage in memory of the PCA-AT representation, that is, the generation of the PCA-AT format, and involves the usage of Huffman encoding and Hilbert curves space-filling properties to compress information associated with the FE functions and mesh, respectively. The last stage deals with the decoding of the PCA-AT format, via a customized anisotropic ver- sion of the Delaunay algorithm, together with the consequent reconstruction of the optical data. Finally, the third research area of the project explores the node-wise classification in terms of land use of the proposed PCA-AT representation, which has intrinsically a graph structure. To this aim, the candidate employs a Graph Convolutional Network (GCN) for semi-supervised node-wise classification, which is able to exploit proximity relation- ships among nodes, unlike traditional classifiers as Support Vector Machines (SVM). By addressing these three aspects (data availability, data storage, data classification), the research project aims at enhancing and optimizing satellite data management within the end-user downstream sector. The project comes from a collaboration with the aerospace company Thales Alenia Space.

Il settore agricolo sta vivendo rapidi progressi dovuti all’emergere del nuovo paradigma dell’Agricoltura 4.0, che si basa su pratiche agricole sostenibili ed efficienti. Questo paradigma sfrutta tecnologie emergenti come il telerilevamento, l’analisi dei big data e l’intelligenza artificiale. In questo contesto, le principali sfide riguardano la disponibilità, la gestione e l’interpretabilità dei dati satellitari, i quali sono risorse essenziali per agri- coltori e stakeholder nell’ottica di prendere decisioni informate in ambito agricolo. Questa tesi affronta tali problematiche focalizzandosi su tre aspetti principali. i) L’impossibilità d’uso dei dati ottici se acquisiti in presenza di condizioni meteorologiche avverse. ii) L’elevato carico legato alla memorizzazione ed elaborazione di grandi volumi di dati di Osservazione della Terra. iii) Metodi di classificazione avanzati per un’analisi ottimale della copertura del suolo. La prima parte del progetto esamina l’uso dei dati Radar ad Apertura Sintetica (SAR) come surrogato in assenza di immagini ottiche, colmando un’importante lacuna nel monitoraggio continuo delle colture, in particolare nel contesto della fertilizzazione azotata. Infatti, molti algoritmi di fertilizzazione si basano su dati satellitari ottici, i quali, se acquisiti in presenza di condizioni meteorologiche sfavorevoli, non garantiscono, quando necessario, la possibilità di calcolare ed attuare applicazioni azotate a rateo variabile. Per affrontare questo problema, prendiamo in considerazione un semplice algoritmo di fertilizzazione basato su dati ottici e proponiamo una tecnica di data fusion, integrando dati SAR e ottici, per calcolare mappe di prescrizione azotata, anche in assenza di dati ottici, durante le principali fasi fenologiche a ridosso delle appli- cazioni di fertilizzante azotato. L’approccio proposto consiste nei seguenti passaggi: i) a partire da dati ottici e SAR, addestrare una rete neurale convoluzionale di tipo U-Net per apprendere la relazione tra i coefficienti SAR di backscattering e l’Indice di Vegetazione Normalizzato (NDVI); ii) utilizzare il modello addestrato per stimare l’informazione ot- tica del NDVI (quando non disponibile) a partire dai dati SAR; iii) calcolare le mappe di prescrizione azotata applicando l’algoritmo di fertilizzazione in questione all’NDVI derivato dai dati SAR. La seconda parte del progetto si concentra sulla rappresentazione efficace, la compressione e la memorizzazione dei dati ottici multibanda, che rappresen- tano la principale risorsa all’interno del paradigma dell’Agricoltura 4.0. A tal proposito, è stato implementato un innovativo metodo di compressione per i dati ottici multibanda, caratterizzato da un elevato tasso di compressione. Esso si articola in tre fasi. La prima fase prevede una procedura a due stadi: i) l’utilizzo dell’Analisi delle Componenti Princi- pali (PCA) lungo la dimensione dei canali del dato ottico per rappresentare efficacemente l’informazioni spettrale ad esso associata tramite una collezione di un numero ridotto di immagini di base, corrispondenti alle componenti principali; ii) l’adozione di tecniche di adattazione anisotropa di griglia per rappresentare efficacemente l’informazione spaziale associata alle immagini di base. La risultante rappresentazione PCA-TriangolareAdattiva (PCA-AT) di un dato ottico consiste in una tassellazione triangolare, non strutturata, adattiva del dominio dell’immagine e in una collezione di funzioni agli Elementi Finiti (EF) continue, lineari definite su tale mesh, che approssimano le immagini di base. La seconda fase riguarda l’efficiente memorizzazione della rappresentazione PCA-AT, ossia la generazione del formato PCA-AT, e coinvolge l’uso della codifica di Huffman e della pro- prietà space-filling delle curve di Hilbert per comprimere rispettivamente l’informazione associata alle funzioni EF e alla mesh. L’ultima fase si occupa della decodifica del formato PCA-AT, tramite una versione anisotropa personalizzata dell’algoritmo di Delaunay, in- sieme alla conseguente ricostruzione del dato ottico. Infine, la terza area di ricerca del progetto esplora la classificazione nodo per nodo, in termini di uso del suolo, della rappre- sentazione PCA-AT proposta, che possiede intrinsecamente una struttura a grafo. A tal proposito, il candidato utilizza una Rete Neurale Convoluzionale per Grafi (GCN) per la classificazione semi-supervisionata dei nodi, in grado di sfruttare le relazioni di vicinanza tra i nodi, diversamente dai classificatori tradizionali come le Support Vector Machine (SVM). Affrontando questi tre aspetti (disponibilità dei dati, memorizzazione dei dati, classificazione dei dati), il progetto di ricerca mira a migliorare e ottimizzare la gestione dei dati satellitari nel settore downstream dell’industria dei dati satellitari che coinvolge l’utente finale. Il progetto nasce da una collaborazione con l’azienda aerospaziale Thales Alenia Space.