Classification of 3D point clouds by artificial neural networks

Machine Learning has known an increasing interest over the last ten years, especially applied on images, where the successful application of deep architectures has given new stimulus to research. At the same time, also 3D sensing technologies have known great development, mostly with the appearance of low-cost devices that have made more accessible and effortless the scansion of real world. In this work we are hence interested in testing Artificial Neural Networks for classification of 3D objects. Research in this field is quite recent and tries to extend mature techniques adopted for 2D images also to 3D domain, following different approaches; among all, we have considered PointNet model, that is a pioneer solution that directly employs point clouds as network input. Since, in most of real applications, clouds obtained from scanners do not represent the entire object but only a part, our attention is particularly focused on studying behaviour of this network on partial point clouds.

Il Machine Learning ha conosciuto negli ultimi dieci anni un grande aumento di popolarità, soprattutto nel campo delle immagini, dove il successo nell’applicazione di Deep Network ha dato un nuovo impulso alla ricerca. Allo stesso tempo, anche le tecnologie di scansione 3D hanno conosciuto un importante sviluppo, legato in gran parte all’apparizione sul mercato di strumenti a basso costo che hanno reso più accessibile e facile la scansione di oggetti e ambienti reali. In questo lavoro siamo quindi interessati a testare il funzionamento delle reti neurali artificiali per la classificazione di oggetti 3D. La ricerca in questo campo è piuttosto recente e tenta di estendere le ormai ben note tecniche per le immagini anche al caso tridimensionale, adottando diversi approcci; tra quelli disponibili, abbiamo considerato la rete PointNet, che rappresenta il primo esempio di un sistema che sfrutta direttamente nuvole di punti come input. La nostra attenzione è inoltre particolarmente concentrata sul caso di classificazione di nuvole parziali, che sono il risultato più facilmente ottenibile in molte applicazioni reali. Due differenti simulatori sono stati implementati per generare artificialmente nuvole parziali a partire da modelli 3D digitali di oggetti. I risultati delle nostre prove dimostrano l’effettiva applicabilità della rete PointNet a questo tipo di dati, introducendo inoltre la possibilità di sfruttare nuvole metriche per aumentare le prestazioni in specifiche situazioni. Ulteriori prove condotte su un dataset di scansioni reali hanno infine rivelato come sia possibile ipotizzare applicazioni in cui il training della rete sia effettuato con nuvole simulate, mentre il reale funzionamento sia su oggetti scansionati.