Crop rows constraints for agricultural SLAM

Agricultural Simultaneous Localization And Mapping (SLAM) is the process of robot self-localization and field mapping in agriculture. Robot localization is the prerequisite for any autonomous robot task. It can exploit a prior environment map if available, in order to extract reference points. Reference points are observable characteristics of the environment that are distinguishable from each other, thus allowing to determine a unique robot position. If a prior map is not available, the robot needs to build a map concurrently with localization, which is the case addressed in this thesis. Besides being a support for robot localization, agricultural mapping can be exploited for several tasks such as crops phenotyping and targeted herbicides spraying. Localization in the agricultural field is a complex task for systems using both absolute and relative sensor measurements. Absolute localization methods can fail because of signal lack, while relative localization systems have to deal with drift accumulation due to the uneven ground and uniform visual appearance of the surroundings. Uniform visual appearance makes the identification of reference points extremely difficult, especially if we consider that landscape is highly time-varying due to the plants growth and therefore reference points are difficult to track over time. This is the reason why prior maps are seldom available. In this thesis, we addressed the localization problem by fusing absolute and relative sensor measurements. In particular, GPS messages were used to get absolute position measurements, while wheel odometry and an RGB camera were used for relative trajectory estimation. The RGB camera images were used to detect crop plants Stem Emerging Point (SEP) as reference points for the relative estimation system. We aimed at partially replacing the need for a precise GPS sensor, by providing a reliable trajectory estimation with visual sensor fusion. Mapping was handled by storing the estimated coordinates of crops SEP in the GPS absolute frame. In addition to single crop plants position, the crop row direction was estimated in the robot local frame. Crop rows constraints were created by interpolating individual crop plants lying along a line, because of the specific domain assumption of crop plants sowed in a row. The mentioned constraints can be used to correct the estimate of the robot trajectory, which must lie at a given distance from the crop row that the robot is following. In particular, for each RGB image we can build a constraint on the distance between the robot pose and the plant centroid obtained by the 3D reconstruction of the SEP identified in the image. For identifying the SEPs in images, we developed a specific image processing component. Finally, we implemented an error computation function to assess the localization results without absolute information. The method computes the best transformation to align the robot trajectory to the ground truth, before the error computation. This was done in order to evaluate the trajectory optimization results which did not fuse GPS measurements in the estimation and therefore are not absolutely referenced.

La localizzazione e la mappatura simultanea agricola (SLAM) è il processo di auto-localizzazione dei robot e mappatura dei campi in agricoltura. La localizzazione del robot è il prerequisito per qualsiasi attività robotica autonoma. Può sfruttare una mappa a priori dell'ambiente, se disponibile, per estrarre punti di riferimento. I punti di riferimento sono caratteristiche osservabili dell'ambiente che sono distinguibili tra loro, consentendo così di determinare una posizione univoca del robot. Se una mappa a priori non è disponibile, il robot deve costruire una mappa contemporaneamente alla localizzazione, che è il caso affrontato in questa tesi. Oltre a essere un supporto per la localizzazione dei robot, la mappatura agricola può essere sfruttata per diversi compiti come la fenotipizzazione delle colture e l'irrorazione mirata di erbicidi. La localizzazione in campo agricolo è un'attività complessa per i sistemi che utilizzano misurazioni di sensori assolute e relative. I metodi di localizzazione assoluta possono fallire a causa della mancanza di segnale, mentre i sistemi di localizzazione relativi devono affrontare l'accumulo di deriva a causa del terreno irregolare e l'aspetto visivo uniforme dell'ambiente circostante. L'uniformità dell'aspetto visivo rende estremamente difficile l'identificazione dei punti di riferimento, soprattutto se si considera che il paesaggio è molto variabile nel tempo a causa della crescita delle piante e quindi i punti di riferimento sono difficili da tracciare nel tempo. Questo è il motivo per cui le mappe a priori sono raramente disponibili. In questa tesi, abbiamo affrontato il problema della localizzazione fondendo le misurazioni assolute e relative dei sensori. In particolare, i messaggi GPS sono stati utilizzati per ottenere misurazioni assolute della posizione, mentre la wheel odometry e una fotocamera RGB sono state utilizzate per la stima della traiettoria relativa. Le immagini della fotocamera RGB sono state utilizzate per rilevare gli Stem Emerging Point (SEP) delle piante coltivate come punti di riferimento per il sistema relativo di stima. Abbiamo mirato a sostituire parzialmente la necessità di un sensore GPS preciso, fornendo una stima affidabile della traiettoria con la fusione del sensore visivo. La mappatura è stata gestita memorizzando le coordinate stimate dei SEP delle piante coltivate nel frame GPS assoluto. Oltre alla posizione delle singole colture, la direzione delle file di piante coltivate è stata stimata nel frame locale del robot. I vincoli delle file di piante coltivate sono stati creati interpolando le singole piante coltivate che giacciono lungo una linea, grazie alla specifica assunzione di dominio delle piante coltivate seminate in fila. I vincoli citati possono essere utilizzati per correggere la stima della traiettoria del robot, che deve trovarsi ad una data distanza dalla fila di piante che il robot sta seguendo. In particolare, per ogni immagine RGB possiamo costruire un vincolo sulla distanza tra la posa del robot e il centroide della pianta ottenuto dalla ricostruzione 3D del SEP identificato nell'immagine. Per identificare i SEP nelle immagini, abbiamo sviluppato un componente dedicato all'elaborazione delle immagini. Infine, abbiamo implementato una funzione di calcolo degli errori per valutare i risultati della localizzazione senza informazioni assolute. Il metodo calcola la trasformazione migliore per allineare la traiettoria del robot al ground truth, prima del calcolo dell'errore. Ciò è stato fatto per valutare i risultati di ottimizzazione della traiettoria che non hanno utilizzato le misurazioni GPS nella stima e quindi non sono assolutamente referenziati.