AI-based 3D feature extraction for automatic generation of virtual contents

Today Virtual Reality (VR) has become a widespread technology for creating an interaction between a human user and a simulated environment with multiple possible goals, ranging from e-learning to video gaming. Recently, VR has also started to be applied to show possible configurations of a Point of Sale (POS) like a pharmacy or a grocery store, to obtain several feedbacks helpful in optimizing the internal arrangement of the furniture or for estimating the different economic return of different configurations of the products on the shelves. Creating such virtual content does not involve issues regarding the architectural environment containing the POS. However, it raises a crucial technical problem associated with generating massive amounts of 3D models needed for populating the shelves because the general approach for creating such models is typically manual. This method involves significant resources in terms of both time and work hours, which are even more remarkable if we consider that such 3D models must be constantly refreshed due to the market's continuous updates. This thesis proposes a method for automating the VR modeling process of a massive set of products starting from the digital acquisition of their rough 3D models originated by a photogrammetric process. The main idea is to exploit the potentiality of machine learning algorithms to assign an unknown product to a specific archetypal category among a predefined classification identified through a systematic analysis of the market. This work also proposes a possible strategy to obtain directly from the images of a product all the geometrical information needed for the automatic generation of a virtual replica through CAD modeling software operated by a scripted procedure. The experimental results demonstrate that such an approach is feasible and effective for most analyzed samples with high repeatability.

Oggigiorno la realtà virtuale è diventata una tecnologia diffusa per la creazione di un’interazione tra l’utente umano e un ambiente simulato con molti possibili obiettivi che possono variare dal e-learning ai videogiochi. Recentemente, la realtà virtuale ha iniziato ad essere applicata per simulare possibili configurazioni dei punti vendita come farmacie o negozi di alimentari, con l’obbiettivo di ottenere dei feedback utili per ottimizzare l’organizzazione interna degli scaffali o per stimare il differente ritorno economico di differenti configurazioni dei prodotti negli scaffali. La creazione di questo tipo di contenuti virtuali non crea particolari problemi per quanto riguarda l'ambiente architettonico dei punti vendita. Tuttavia, fa nascere un cruciale problema associato alla generazione di un alto numero di modelli 3D necessari per il popolamento degli scaffali, poiché l’approccio generale per creare questo tipo di modelli è tipicamente manuale. Questo metodo coinvolge ingenti risorse in termini di tempo e di ore di lavoro che sono ancora più significative se consideriamo il fatto che questi modelli 3D devono essere costantemente aggiornati dato il continuo aggiornamento del mercato. Questa tesi propone un metodo per automatizzare il processo della modellazione per la realtà virtuale di un grande numero di prodotti partendo da acquisizioni digitali delle loro viste ortografiche fornite da un processo di fotogrammetria. L’idea principale è quella di sfruttare le potenzialità degli algoritmi di machine learning per assegnare un prodotto sconosciuto ad una specifica categoria archetipale tra una predefinita classificazione identificata attraverso un'analisi sistematica del mercato. Questo lavoro propone anche una possibile strategia per ottenere direttamente dalle immagini tutte le informazioni geometriche necessarie per la generazione automatica di una replica virtuale dell'oggetto attraverso software di modellazione CAD. I risultati sperimentali dimostrano che questo tipo di approccio è fattibile ed efficace per la maggior parte del campione analizzato con alta ripetibilità.