3D reconstruction and segmentation for vineyard plant phenotyping

Plant phenotyping is the measurement of the observable plant characteristics that result from the interaction of genotype and environment, such as stalk width, leaf area, leaf angle, and color. Plant phenotyping information is relevant for farmers to support their decision-making process. Thus, they can distribute a precise fine-tuned quantity of inputs (such as water, fertilizers, pesticides) and enhance crop performance. Nowadays, plant phenotyping is performed manually by skilled scientists or breeders; this procedure is laborious, expensive, and time-consuming. Automatic plant phenotyping systems aim at overcoming the limitations of current manual methods allowing rapid, non-destructive, accurate, and high-throughput measurements. One of the major flaws in the current methodologies is the incapability to collect, reliably, and in situ, large-scale phenotyping measurements. In addition to the management of a huge quantity of phenotyping data, new modeling techniques, advanced analysis tools, and prediction models are necessary to turn automatic phenotyping into a real-world reality. In this thesis, we developed a system able to scan entire crop rows and to automatically recognize single plants. We designed a structure equipped with a set of sensors that can be mounted on different platforms like an autonomous robot or a tractor. The system is able to localize itself thanks to a sensors fusion approach of the GPS and cameras information. The localization could work even in the total absence of the GPS signal. Moreover, we designed a reconstruction software component to retrieve the tridimensional model of a crop row. The reconstruction process exploits the localization information from the sensor fusion approach. Laser scans and camera images are assembled to form tridimensional models. Finally, we devised a segmentation algorithm to isolate single plants from the produced reconstruction.

La fenotipizzazione delle piante è la misurazione delle caratteristiche osservabili che risultano dall'interazione del genotipo con l'ambiente, quali la larghezza degli steli, l'area e l'angolo delle foglie, e il colore. L'informazione del fenotipo è utile come supporto al processo decisionale degli agricoltori. Infatti, grazie a queste informazioni, possono spargere una precisa e calibrata quantità di risorse (come acqua, fertilizzanti, pesticidi) e aumentare così le prestazioni del raccolto. Oggigiorno, la fenotipizzazione delle piante è eseguita a mano da coltivatori o scienziati esperti; la procedura è molto laboriosa, costosa, e richiede molto tempo. I sistemi automatici di fenotipizzazione mirano a superare le limitazioni degli attuali metodi manuali permettendo di effettuare misure in maniera rapida, non distruttiva, accurata, e con un alto volume di produzione. Uno dei maggiori difetti dei metodi attuali è l'incapacità di effettuare misurazioni affidabili di coltivazioni su larga scala. Oltre alla gestione di una enorme quantità di dati, è necessario sviluppare nuove tecniche di modellazione, nuovi avanzati strumenti di analisi, e nuovi modelli di predizione per trasformare la fenotipizzazione automatica in realtà. In questa tesi abbiamo sviluppato un sistema capace di scansionare intere file di colture e di riconoscere automaticamente le singole piante che ne fanno parte. Abbiamo progettato una struttura con un insieme di sensori che può essere montato su diverse piattaforme, come un robot autonomo o un trattore. Il sistema che abbiamo sviluppato è in grado di localizzarsi grazie alla fusione delle informazioni provenienti da sensori quali il GPS e le fotocamere. La localizzazione può anche funzionare nella totale assenza del segnale GPS. Inoltre, abbiamo progettato un componente software in grado di restituire un modello tridimensionale di un filare di una coltura. Il processo di ricostruzione sfrutta le informazioni di localizzazione dall'approccio di fusione precedentemente descritto. Le scansioni provenienti da un sensore laser e le immagini delle fotocamere sono assemblate per formare un modello tridimensionale. Infine, abbiamo sviluppato un algoritmo per isolare le singole piante dalla ricostruzione precedentemente ottenuta.