Projector-based spatial augmented reality for collaborative design activities: application and interaction

Modern technologies have improved the capability of a design activity to develop multiple alternatives and at the same time to select the optimal solution by providing supporting tools where most of the aspects related to products are digitally replicated. The correct integration of new applications inside the design process relies on the knowledge of the users to extract from the results produced by the simulations that information required for the execution of their job. The data used in creative industries are mostly hyper-realistic images and 3D models that are abstracted from the real world so as to make the result impossible to distinguish from a physical product. This approach suffers when the design session has to deal with inexperienced users due to (i) the difficult interpretation of the physical properties of the generated output, (ii) the complexity of operate with the dedicated software for applying real-time modifications onto the project and (iii) the low support provided during the collaborative activities for enhancing the idea sharing or the creative thinking between the participants. The current practice is thus inadequate when the involved actors (i.e. designers, clients, end users and other stakeholders) have a different level or type of expertise and they need to communicate with each other’s for the correct evolution of the proposals. As result, the design activities are affected by inefficiencies from the economical point of view since the higher amount of iterations necessary to define the solution drastically increases the lead time and the related development costs. With the aim of limiting the negative effects of the previously described use case scenarios, designers are encouraged to prototype early versions of the product since the initial stages of their activities. These are efficient means for sharing and evaluating the current state of the development by offering to multiple users all the advantages related to a tangible interaction with the mock-ups at the expense of a higher resource consumption for their physical realization. The immutable nature of the prototypes, in fact, implies to manufacture a new variant every time a modification is applied onto the design and it prevents to have a real-time visualization of the results. One way to afford a more effective and rapid prototyping method for the field is to simultaneously transfer in a single environment all the useful properties that are owned by the digital and real worlds. Projection-based Spatial Augmented Reality (P-SAR) provides the technical means for this goal by using the coloured light beam generated by a projector to change the external appearance of an object. The latter, still belonging to the physical world, can be freely manipulated by the persons involved in the design activity since the augmented contents are adjusted according to the new object’s placement thanks to a tracking system. Even if the applicability of this technology is still limited at those sectors that only require to modify superficial details of an object, this doctoral dissertation aims at investigating which are the technical features necessary to promote the integration of a SAR platform in a real design process. The study is mainly focused on the definition of a proper interaction modality with the digital, or augmented, contents so that fast and intuitive modifications are allowed on the external layout of the product. This is done considering the requirements of a collaborative design session where all the participants need to have the same possibilities for (i) communicating their ideas by means of the provided interfaces and functionalities as well as for (ii) visualizing the outputs that are rendered in the form of Mixed Prototypes (MP). The SAR system, whose hardware has been subdivided in three modules according to the functional meaning, is presented with all the details regarding its development and validation. Several test campaigns, in fact, have been organized during the research activity to better regulate the evolution of the platform and to understand which are the real potentials of a tool based on this technology. The analysis involved a group of experts coming from real design agencies specialized in different field of applications for collecting their feedbacks regarding the applicability of the system in their traditional activities with a focus on the features to be improved. The thesis concludes this investigation by successfully comparing the performances related to the development of two real projects (i.e. lead time, iterations, man-hours and costs) where the only difference was related to the organization of a collaborative design activity supported by the SAR.

Le moderne tecnologie, grazie alla diffusissima pratica di digitalizzazione del mondo reale, hanno migliorato le capacità progettuali dell’uomo per quanto riguarda lo sviluppo di alternative e l’individuazione di soluzioni ottimali. L’integrazione di questi strumenti nel processo di design si basa principalmente sulla conoscenza degli utenti nell'estrarre dai risultati delle simulazioni tutte le informazioni necessarie allo svolgimento delle loro attività. Nelle industrie creative tali dati sono rappresentati sottoforma di immagini e modelli 3D ultra-realistici che risultano impossibili da distinguere dai prototipi reali. Un approccio di questo tipo, tuttavia, è fortemente limitante quando le sessioni di design coinvolgono persone inesperte a causa di: difficile interpretazione delle proprietà fisiche di un prodotto digitale, difficoltà nell'utilizzare strumenti professionali per applicare in tempo reale modifiche al progetto, scarso supporto nel facilitare lo scambio di idee e il pensiero creativo durante le attività collaborative. La pratica attuale di progettazione è quindi inadeguata quanto gli attori coinvolti, appartenendo a profili diversi e possedendo conoscenze eterogenee, devono comunicare tra di loro per il raggiungimento degli obbiettivi progettuali. Come conseguenza di tutto ciò, l’attività di progettazione è caratterizzata da particolari inefficienze che, aumentando il numero delle iterazioni, provocano un incremento dei tempi e dei costi necessari al completamento del progetto. Con l’obbiettivo di limitare gli effetti negativi precedentemente descritti delle sessioni collaborative, i designers sono incoraggiati nel creare prototipi sin dalle fasi iniziali del progetto. Questi ultimi sono strumenti efficaci per condividere tra più persone lo sviluppo di un prodotto e per valutarne gli avanzamenti ma comportano un maggiore consumo di risorse per la loro realizzazione. La natura non mutevole dei prototipi, infatti, richiede la fabbricazione di una nuova versione ogni qualvolta viene effettuata una modifica progettuale, limitando le possibilità di visualizzare il risultato finale in tempi ristretti. Un metodo di prototipazione più efficace e rapido può quindi essere ottenuto includendo simultaneamente in un unico ambiente le caratteristiche più utili possedute dai mondi digitali e fisici. La realtà aumentata proiettata (P-SAR) fornisce il mezzo tecnico per raggiungere questo obiettivo impiegando il fascio di luce colorata generato da un proiettore per modificare l'aspetto estetico di un oggetto. Quest'ultimo, ancora appartenente al mondo fisico, può essere liberamente manipolato dalle persone coinvolte nell'attività di progettazione poiché, grazie a un sistema di tracciamento, i contenuti aumentati vengono adattati al posizionamento dell’oggetto. Anche se l'applicabilità di questa tecnologia è ancora limitata a quei settori che richiedono la sola modifica dei dettagli superficiali di un oggetto, questa tesi di dottorato mira ad indagare quali sono le caratteristiche tecniche necessarie per promuovere l'integrazione di una piattaforma SAR in un vero processo di progettazione. Lo studio si concentra principalmente sulla definizione di una corretta modalità di interazione con i contenuti digitali, o aumentati, in modo tale da consentire delle modifiche rapide e intuitive sul layout esterno del prodotto. Lo sviluppo è stato articolato in modo tale da considerare i requisiti di una sessione di progettazione collaborativa in cui tutti i partecipanti devono avere le stesse possibilità di (i) comunicare le proprie idee tramite le interfacce e le funzionalità fornite, nonché di (ii) visualizzare gli output generati sottoforma di prototipo misto Il sistema SAR, il cui hardware è stato suddiviso in tre moduli in base alla loro funzione, è presentato con tutti i dettagli tecnologici e di validazione. Diverse attività sperimentali, infatti, sono state organizzate durante la ricerca per regolare al meglio lo sviluppo della piattaforma e per capire quali sono le reali potenzialità di uno strumento basato su questa tecnologia. L'analisi ha coinvolto un gruppo di esperti provenienti da differenti agenzie di design per raccogliere impressioni e suggerimenti riguardanti l'applicabilità del sistema nelle loro attività lavorative. La tesi conclude questa indagine confrontando con successo le prestazioni legate allo sviluppo di due progetti di design (ovvero tempi di consegna, iterazioni, ore di lavoro e costi) in cui l'unica differenza riguarda l'utilizzo della tecnologia SAR durante un'attività di progettazione collaborativa.