Parametric flower 3D model retrieval from single image with deep learning and procedural modeling

With Augmented Reality (AR) and Virtual Reality (VR) technologies becoming more prevalent in entertainment, manufacturing, architectural design, training and education, the needs for 3D content are impressively growing. In this work we tackle the problem of generating a modifiable 3D model from a real instance of an object belonging to particular wide and complex category: flowers. This category has been selected because of its major usage in the main application domains of 3D modeling, and also because its level of complexity offers a good challenge for our study. Our strategy is to predict a parametric representation of the flower exploiting recent deep learning techniques and a procedural modeling tool (PMT) that we specifically designed for this work. We intend to build the training dataset for the neural network directly from our flower PMT, relying also on techniques such as High Dynamic Range Imaging (HDRI) and Image Based Lighting (IBL) to add realism to the image and to augment the data. With these techniques we were able to generate as many realistic images of flowers as we want. Once the whole network is trained, given an image of a flower, we should be able to generate its corresponding 3D model. Such a functionality could be useful in 3D modeling engines as a tool for fast modeling of environment flowers, or in a stand-alone application for educational purposes, or it could be also applied in social media applications as kind of AR filter.

Oggi, grazie alle tecnologie della realtà aumentata (AR) e della realtà virtuale (VR) - tecnologie che rivestono un ruolo sempre più importante nel design, nell’ambito della manifattura, nell’architettura, nella didattica e nell’intrattenimento - la domanda di contenuti in 3D è cresciuta a dismisura. In questo lavoro, abbiamo affrontato il problema di generare un modello 3D modificabile partendo da una istanza reale di un oggetto che appartiene a una categoria particolarmente ampia e complessa: quella dei fiori. Questa categoria è stata selezionata innanzitutto per il suo utilizzo assai diffuso nei principali ambiti di applicazione della modellazione 3D, e poi perché il suo alto livello di complessità offre una sfida significativa per il nostro studio. La nostra strategia progettuale è stata quella di predire una rappresentazione parametrica del fiore sfruttando le recenti tecniche nel campo del Deep Learning e uno strumento di modellazione procedurale (PMT) che abbiamo progettato specificamente per questo scopo. Abbiamo costruito il dataset per l’allenamento della rete neurale direttamente dal nostro PMT floreale, facendo uso di tecniche quali l’High Dynamic Range Imaging (HDRI) e l’Image Based Lighting (IBL) per aggiungere realismo alla scena e per aumentare il numero di dati. Queste tecniche ci consentono teoricamente di generare tutte le immagini realistiche di fiori che desideriamo. Realizzato l’allenamento della rete, data un’immagine di un fiore, dovremmo essere in grado di generare il suo corrispondente modello 3D. Una simile funzionalità potrebbe risultare preziosa nei motori di modellazione 3D sottoforma di tool per la modellazione veloce di fiori per l’ambientazione, oppure potrebbe essere sfruttata in una applicazione a se stante a scopi educativi, oppure ancora potrebbe essere impiegata rella realizzazione di un filtro di tipo AR nelle applicazioni social.