Interactive Fabrication: Exploration of Human-machine Collaboration Methods for AR Assisted Robotic Fabrication

In recent years, research in computational design and robotic fabrication in architecture, engineering, and construction (AEC) has made remarkable advances in automating construction processes. However, little research has been done on how to leverage human-in-the-loop processes for large-scale robotic fabrication scenarios. In such processes, humans and robots support each other in fabrication operations that neither of them could handle alone, leading to new opportunities for the AEC domain. At the same time, due to device updates and technological maturity, the use of augmented reality (AR) technology has increased. For architectural design, especially digital fabrication projects, more research has begun to integrate AR methods to achieve visualization in the process. Recently, there have been experiments and practical research on digital fabrication of buildings based on AR, which is an interactive fabrication method. The intuitive nature of AR allows humans and robots to directly interact in real space using limb movements, which is a more direct and lower threshold robot programming approach compared to controlling robots through code on a computer. Therefore, this is a very good method to incorporate human creativity and intelligence into linear large-scale robot manufacturing. Based on the above issues, this paper continues to explore the method of AR assisted robot construction. Firstly, the background of the topic was introduced, and then a wooden block placement experiment was completed using robot teaching pendent, general computational tools, and AR programming tools, to compare the differences between this new method and traditional methods. At the same time, new possibilities that can be provided in the AR assisted robot construction process were summarized through experiments, such as virtual user control interfaces, gesture control of robot movement paths, preview of robot work processes, and so on. Based on the above methods, two interactive construction projects were completed. The first is used for polishing metal decorative patterns on facades and walls, and the second is a special style brick wall construction based on inclined bricks of mobile robots. In the first project, AR technology was used to complete tasks such as drawing polishing paths, setting other robot parameters such as speed, and previewing virtual walls; In the second project, AR technology was used to complete tasks such as positioning the mobile robot, selecting bricks for placement, and previewing the robot's motion process. In these projects, this paper explores the possibility of applying AR technology to robot construction, allowing humans to participate more in linear robot construction to make the construction system more adaptable and creative. The application of AR technology in the project has also verified its enormous potential in the field of digital fabrication. In the future, with the further development of technology, AR assisted robotic fabrication is expected to have a significant impact on the AEC industry.

Negli ultimi anni, la ricerca nella progettazione computazionale e nella fabbricazione robotica in architettura, ingegneria e costruzione (AEC) ha fatto notevoli progressi nell'automazione dei processi di costruzione. Tuttavia, sono state fatte poche ricerche su come sfruttare i processi umani-in-the-loop per scenari di fabbricazione robotica su larga scala. In tali processi, umani e robot si supportano a vicenda in operazioni di fabbricazione che nessuno di loro poteva gestire da solo, portando a nuove opportunità per il dominio AEC. Allo stesso tempo, a causa degli aggiornamenti dei dispositivi e della maturità tecnologica, l'uso della tecnologia di realtà aumentata (AR) è aumentato. Per la progettazione architettonica, in particolare per i progetti di fabbricazione digitale, è iniziata una maggiore ricerca per integrare metodi AR per ottenere la visualizzazione nel processo. Recentemente, ci sono stati esperimenti e ricerche pratiche sulla fabbricazione digitale di edifici basati su AR, che è un metodo di fabbricazione interattivo. La natura intuitiva della AR consente a esseri umani e robot di interagire direttamente nello spazio reale utilizzando movimenti degli arti, che è un approccio di programmazione robot più diretto e a soglia inferiore rispetto al controllo dei robot tramite codice su un computer. Pertanto, questo è un ottimo metodo per incorporare la creatività e l'intelligenza umana nella produzione lineare di robot su larga scala. Sulla base dei problemi di cui sopra, questo articolo continua ad esplorare il metodo della costruzione di robot assistiti AR. In primo luogo, è stato introdotto lo sfondo dell'argomento, e poi è stato completato un esperimento di posizionamento di blocchi di legno utilizzando robot di insegnamento dipendente, strumenti computazionali generali e strumenti di programmazione AR, per confrontare le differenze tra questo nuovo metodo e metodi tradizionali. Allo stesso tempo, le nuove possibilità che possono essere fornite nel processo di costruzione di robot assistiti AR sono state riassunte attraverso esperimenti, come interfacce di controllo utente virtuali, controllo gestuale dei percorsi di movimento del robot, anteprima dei processi di lavoro del robot e così via. Sulla base di questi metodi, sono stati completati due progetti di costruzione interattivi. Il primo viene utilizzato per lucidare motivi decorativi metallici su facciate e pareti, e il secondo è una costruzione speciale di mattoni in stile basato su mattoni inclinati di robot mobili. Nel primo progetto, la tecnologia AR è stata utilizzata per completare attività come disegnare percorsi di lucidatura, impostare altri parametri robot come la velocità e visualizzare in anteprima muri virtuali; Nel secondo progetto, la tecnologia AR è stata utilizzata per completare attività come il posizionamento del robot mobile, la selezione dei mattoni per il posizionamento e l'anteprima del processo di movimento del robot. In questi progetti, questo articolo esplora la possibilità di applicare la tecnologia AR alla costruzione di robot, consentendo agli esseri umani di partecipare maggiormente alla costruzione di robot lineari per rendere il sistema di costruzione più adattabile e creativo. L'applicazione della tecnologia AR nel progetto ha anche verificato il suo enorme potenziale nel campo della fabbricazione digitale. In futuro, con l'ulteriore sviluppo della tecnologia, la fabbricazione robotica assistita da AR dovrebbe avere un impatto significativo sul settore AEC.